这是一个创建于 1302 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前有个需求是提供一个稿件的入库接口，然后入到一个闭源的类似 hbase 的数据库中，由于某些原因，接口和入库过程要解耦，所以需要中转一下，一种方案是接口端把 json 写入文件，logstash 读取，然后 output 输出到一个 http 接口，然后入库。另一种是接口把稿件数据扔到 kafka 里，然后接口端拉数据入库。
总体量大概一天 1~2w 篇，不算大，但是字段比较多，正文会大一点。领导要求尽量保证数据不丢失。 感觉走 logstash，如果 output 对应的接口挂掉，容易大量重试，比较麻烦。然后走消息队列，感觉作为消息体似乎有点大，而且不知道会不会被撑爆导致里面数据丢失（做持久化可解决？）
想求教一下，哪种方案合适一点，或者说有啥更合适的方案更好。
谢谢诸位。
 |
1
VonemSnake 2021-06-09 09:55:10 +08:00
kafka
|
 |
2
dayeye2006199 2021-06-09 15:02:59 +08:00
消息队列
|
 |
3
SnailTest 2021-06-11 13:34:32 +08:00
消息队列分批收
|
Select Language