sqlServer 如何增量同步数据到 MySql，小公司买不起 DTS 服务

[sssmm666]

公司有个需求需要读取 sqlServer 数据库的数据到 MySql 数据库，看了下 DTS 服务好贵公司估计不肯掏钱，还有什么其他的方法或工具可以实现吗，不想自己写代码实现啊，主要表有点多
https://imgur.com/a/Sx5MuGP

[littlewing]

https://github.com/alibaba/canal
https://github.com/alibaba/otter
https://github.com/alibaba/DataX

[sssmm666]

@littlewing Datax 用不了，有些表没有时间属性的，另外两个看了下，没看到支持 sqlServer 的

[vczyh]

https://debezium.io/documentation/reference/2.5/connectors/sqlserver.html

[goodryb]

先从架构上看看，C 库为什么要用 mysql ，都用 SQLserverless 行不行，同类型数据库相对来说比较容易做同步

其次，同步的数据主要用作什么，入大数据还是日常的查询分析，这种一般都有数据集成工具，支持各种数据源

[N9f8Pmek6m8iRWYe]

大数据平台的 CDC ，用 streamset ，参考： https://blog.csdn.net/BlackArmand/article/details/106407801

[kgcHQbTYyvcz2w3j]

Kettle ？ 要我就手撸 ETL ，定义好规则代码写起来很快的

[0xsui]

@xyzmax Kettle 被日本日立收购了吧，现在找个在线下载都费劲了

[xiaoer90]

cloudcanal ，3 个月免费，过期更新一下许可证就可以

[lstz]

没钱的话，用最大众的 mysql 就是稳的。

不过自己应用层写写代码，应该也能实现

[x66]

nifi 自己手撸 SQL

[asmoker]

可以试试 debezium （坑真 TM 的多，随便一搜时间戳处理的开源 Transforms 库就 TM 一大堆...

[ukhack]

@0xsui 哪里费劲了，一搜一大堆

[smallpigzbl]

我用的 airbyte ，开源版本，本地 docker 部署，不是太老的 SQLSERVER 都可以

[sssmm666]

@goodryb 因为我用惯了 mysql 加上用的开源框架，都用 sqlserver 的话使用开源框架那边也得换，因为目前只是从 sqlserver 读取数据的来做大屏分析和后台系统的饼图柱状图这些

[sssmm666]

@lstz 客户用的是 sqlserver,我这边是需要去客户的数据库取数据的

[sssmm666]

@asmoker 我昨天网上搜了一堆，flinkCDC 好像就是用的这个读取变更的数据

[sssmm666]

@smallpigzbl 我去试下这个，昨天忙活一天用 flinkCDC 跑通了

[sssmm666]

@lstz 自己写是最后的方案，要是找不到就只能自己手戳应用层了

[sssmm666]

@vczyh 我找到的 flink-cdc 好像就用这个做插件读取变更数据的，感谢了

[sssmm666]

昨天研究一天找到了解决方案了，用的是 flink-cdc 来处理，感谢各位的解答

[smallpigzbl]

@sssmm666 Airbyte 更全一点，也支持 CDC ，折腾吧~

[sssmm666]

@smallpigzbl Airbyte 不支持 sqlserver2008,T_T ，我去看了官方文档的要求了

[smallpigzbl]

@sssmm666 想要 CDC 的话，最低都是 sqlsever 2008 R2 ，都得找兼容的连接器版本，最新版都不行。

[sssmm666]

@smallpigzbl 那现在 flinkCDC 跑通了，应该 sqlsever 2008 R2 版本了，那 Airbyte 应该也能用了，我去折腾下看看

[yudoo]

@sssmm666 结果怎么样了, 我们最近用 datax, 我觉得这玩意是不是有点过时了呀