V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
voidxx
V2EX  ›  Elasticsearch

logstash 同步数据重复问题

  •  
  •   voidxx · 2020-05-09 11:18:34 +08:00 · 2657 次点击
    这是一个创建于 1657 天前的主题,其中的信息可能已经有所发展或是发生改变。
    logstash 同步 mysql 增量数据到 elasticsearch,除了把 mysql 的主键 id 赋值给 index.document_id 外,有没有其它办法避免数据重复的问题。

    如果只有这种办法,那 mysql 的自增 id,对于 es 的文档索引效率等有什么影响吗?
    4 条回复    2020-05-13 17:08:29 +08:00
    Navee
        1
    Navee  
       2020-05-13 14:59:05 +08:00
    新增文档赋值 id 的话写入会非常的慢,但也只有这一种办法能完全避免重复数据了
    还有一种不靠谱的方式是自己写一个同步程序,记录每次同步的最新 id,一定程度上能避免重复
    voidxx
        2
    voidxx  
    OP
       2020-05-13 16:10:49 +08:00
    @Navee #1 多谢。看了些视频教程,确实也只有这个方法,但都没说对性能的影响,猜测可能影响不会很大吧。
    Navee
        3
    Navee  
       2020-05-13 16:47:23 +08:00
    @voidxx 影响非常的大
    voidxx
        4
    voidxx  
    OP
       2020-05-13 17:08:29 +08:00 via iPhone
    @Navee 好的,但只影响写入,不影响查询的话,还能接受吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3263 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 11:48 · PVG 19:48 · LAX 03:48 · JFK 06:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.