V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
papaer
V2EX  ›  问与答

监听 Binlog 有哪些风险点

  •  
  •   papaer · 2022-05-19 10:35:05 +08:00 · 1464 次点击
    这是一个创建于 906 天前的主题,其中的信息可能已经有所发展或是发生改变。
    大家有做过使用 Binlog 的场景吗,以及遇到的风险点(已遇到的问题 + 未来可能出现的)
    4 条回复    2022-05-19 16:11:57 +08:00
    cominghome
        1
    cominghome  
       2022-05-19 11:14:07 +08:00
    监听 binlog 本身没有什么风险(一般是监听从库),方案已经很成熟了( Cancal 了解一下),重点是你需要做什么
    leonme
        2
    leonme  
       2022-05-19 12:00:17 +08:00
    这能有啥风险,无非就是有数据延迟
    sadfQED2
        3
    sadfQED2  
       2022-05-19 14:20:12 +08:00
    binlog->kafka
    binlog->hive
    binlog->es
    binlog->pg

    我们的使用场景,无非就是做一些数据同步,或者监控某些数据变化。非说风险的话可能有敏感数据问题? binlog 里面的内容不方便做权限控制
    akiraX
        4
    akiraX  
       2022-05-19 16:11:57 +08:00
    注意 position 的保存时机,防止丢数据。
    消费端要保证幂等来处理重复的数据。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   883 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 20:30 · PVG 04:30 · LAX 12:30 · JFK 15:30
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.