mysql 同步数据到 SQLite 和 SQLserver

[hui9000]

问一下各位彦祖，有这么一个需求，mysql 的数据定时同步到 SQLite 和 SQLserver 上，表结构一样，目标数据库比较多，有没有稳定的方案；

可能我描述的不太清楚，数据库里存的东西都比较少，iot 设备，主要是防止断网的情况下，设备也能维持基本使用。
也并不是数据迁移，是需要定时进行更新；
在结构设计上也是兼容 SQLite 支持的类型；

[infun]

SQLite 支持的字段类型那么少，怎么做到表结构一样呢？

[vczyh]

Debezium

[WangYouGX]

1.骨灰级玩家用 mysqldump 落 sql 文件，然后编辑 sql 文件改成 SQLserver 的 insert 语句
2.利用 Navicat Peemium 破解版，可以一键迁移……

[aibx01]

这个帖子 https://www.v2ex.com/t/995792 第 13 点

[fgwmlhdkkkw]

https://github.com/alibaba/canal

[totoro52]

阿里开源的 canal ， 自带一个 adapter 可以写 SQL 的方式同步 但性能效率非常差，因为代码质量很差， 同时也提供 client ，可以自定义解析过来的 SQL ，

[iyiluo]

同步到 SQLite 比较少见，看表多不多，手搓一个

[chenzw2]

定时同步用阿里的 datax ，实时同步用 canal

[hui9000]

@infun 字段类型按照 SQLite 进行创建 尽量做到兼容
@WangYouGX @aibx01 @fgwmlhdkkkw @totoro52 不是数据迁移，是需要定时进行数据同步
@iyiluo 其实主要是业务场景比较特殊，设备需要断网情况下维持基本操作；

[bthulu]

直接用阿里的 DTS, 或者自己写一个, 模拟 mysql 从数据库订阅 mysql 的 binlog, 解析 binlog, 生成变更前后字段值, 再转换成 sqlite 和 sqlserver 的语法

[dq19871123]

自己写一个好了

[renothing]

听你描述感觉更像是程序设计上搞错了姿势。更像是需要做配置同步。iot 的设备运行配置需要从中心不定期同步？
设计好接口从远端拉取更合适。

[wenxueywx]

赞同；通过接口拉数据后写入设备的 sqlite

[julyclyde]

对于你这个原始需求，我觉得这个方案可能不正确

这不是数据库级别复制的问题
你需要的是语义级复制，就是把“这段数据表达了什么意思”复制出来，而不是把“这段数据”复制出来

[totoro52]

@hui9000 datax 不过你这两个数据库类型很多不同 还不如写个接口定时批量处理就好了 更灵活

[haimianbihdata]

datax 实时就 flink cdc 这些

[howfree]

试试 flink cdc