首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
›
Elasticsearch 参考文档
›
Elasticsearch: The Definitive Guide
›
elasticseaerch-analysis-ik
V2EX
›
Elasticsearch
logstash 同步数据重复问题
voidxx
·
2020-05-09 11:18:34 +08:00
· 2657 次点击
这是一个创建于 1657 天前的主题,其中的信息可能已经有所发展或是发生改变。
logstash 同步 mysql 增量数据到 elasticsearch,除了把 mysql 的主键 id 赋值给 index.document_id 外,有没有其它办法避免数据重复的问题。
如果只有这种办法,那 mysql 的自增 id,对于 es 的文档索引效率等有什么影响吗?
MySQL
logstash
主键
重复
4 条回复
•
2020-05-13 17:08:29 +08:00
1
Navee
2020-05-13 14:59:05 +08:00
新增文档赋值 id 的话写入会非常的慢,但也只有这一种办法能完全避免重复数据了
还有一种不靠谱的方式是自己写一个同步程序,记录每次同步的最新 id,一定程度上能避免重复
2
voidxx
OP
2020-05-13 16:10:49 +08:00
@
Navee
#1 多谢。看了些视频教程,确实也只有这个方法,但都没说对性能的影响,猜测可能影响不会很大吧。
3
Navee
2020-05-13 16:47:23 +08:00
@
voidxx
影响非常的大
4
voidxx
OP
2020-05-13 17:08:29 +08:00 via iPhone
@
Navee
好的,但只影响写入,不影响查询的话,还能接受吧
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
3263 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 19ms ·
UTC 11:48
·
PVG 19:48
·
LAX 03:48
·
JFK 06:48
Developed with
CodeLauncher
♥ Do have faith in what you're doing.