想问下大佬们、近实时将 kafka 数据转存到 hive 中有什么比较好的方案？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 745 天前的主题，其中的信息可能已经有所发展或是发生改变。

想实现程序跑完将数据插入 kafka 中某个 topic 、可以自动备份到 hive 表里、有什么比较成熟可靠得方案吗？

3 条回复 • 2022-12-10 16:11:50 +08:00

darrh00

2022-12-08 18:17:14 +08:00

flume 配置一下就可以了吧

ARMILKCHEN

2022-12-09 18:03:59 +08:00

@darrh00 flume 确实可以实现、但如果想复杂一点比如
插入往一个 topic 名为 user 对应的是往 hive user 表去下沉数据，我不确定 flume 能不能动态实现这样的效果

azkaban

2022-12-10 16:11:50 +08:00 via iPhone

flink 写啊