V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lsk569937453
V2EX  ›  程序员

[学习]mysql 的同步问题, binlog 相关

  •  
  •   lsk569937453 · 300 天前 · 1332 次点击
    这是一个创建于 300 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用阿里巴巴的canal把 binlog 解析出来是 eventData ,原来想着用otter做同步的。发现 otter 好久没维护了搭建个环境难得要死。

    如果不用 otter ,怎么做数据同步?自己手写的话是需要把 eventData 转换为 sql 吗?

    6 条回复    2024-01-26 17:58:05 +08:00
    tairan2006
        1
    tairan2006  
       300 天前
    你要同步到哪里
    bingobang
        2
    bingobang  
       300 天前   ❤️ 1
    记得没错的话,canal 好像也是要写代码的吧,那不如直接换 flinkCdc 了
    flink cdc ,使用起来会简单很多,有纯 sql 的方案,但可能会感觉没有掌控感。 也可以用纯代码的方式解决,flink cdc 本身接入 dateSource 的时候就直接对接了 mysql 的 binlog ,在代码层面拿到的数据是,before 的值,after 的值,本次操作的类型,基本上你要的东西都会有
    potatowish
        3
    potatowish  
       300 天前 via iPhone
    需要全过程掌控感,用 Debezium ,需要方便省事,用 Flink CDC Table/SQL API
    totoro52
        4
    totoro52  
       300 天前
    它有一个 adapter ,可以写 sql 的方式同步,也有一个 client ,自己解析过来的数据,也有第三方开源的 clent ,github 上很多,我上次就用了一个,它全部解析成对象给你的, 很方便
    vczyh
        5
    vczyh  
       300 天前
    数据都拿到了,拼接个 SQL 不是简简单单。
    zhangxudong
        6
    zhangxudong  
       300 天前
    可以试试 cloudcanal ,好像是之前阿里云做 dts 的人出来创业做的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1049 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:11 · PVG 03:11 · LAX 11:11 · JFK 14:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.