这是一个创建于 574 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前遇到一个需求，应该是大数据处理范畴，不过我没有做过类似需求，看看各位有没有什么好的解决方案推荐
就是要实现图中的 taskA 、taskB 、taskC
技术栈是 JAVA
 |
1
9113946 2023-05-29 09:14:39 +08:00
spark sql 轻松解决
|
 |
2
xiangagou 2023-05-29 09:53:08 +08:00
看你的数据量和具体需求喽,大数据那套可以做,Java 自己处理数据也可以做.大数据主要搭起来麻烦,写写脚本都是比较简单的.
|
 |
3
bk201 2023-05-29 09:55:08 +08:00
看你的图和大数据好像没啥关系。
|
 |
4
bugmakerxs OP @xiangagou 每天 100w 左右数据要处理，要考虑并行和水平扩容提高处理效率的话，感觉直接写代码会比较麻烦，，，process1~processN 之间也可能有相互依赖。flink 那套不知道能不能一把梭
|
|
5
xiangagou 2023-05-29 10:34:24 +08:00
@bugmakerxs flink 能搞得.我看了下 es 的 sink 端官方有的,source 端没有需要自己处理.
|
Select Language