这是一个创建于 2412 天前的主题，其中的信息可能已经有所发展或是发生改变。
在使用 kafka stream 聚合时候如何指定间隔 1s 去聚合数据结果发送到数据库
e.g:
在一个时间段内
key1:{a:1,b:1:c:1}
key1:{a:11,b:1:c:5}
那改时间端聚合之后的结果就是
key1:{a:12,b:2:c:6}
翻看 kafka streams 的文档貌似没有找到解决办法
请问各位遇到过类似的问题么，在实时数据分析上，
e.g:
在一个时间段内
key1:{a:1,b:1:c:1}
key1:{a:11,b:1:c:5}
那改时间端聚合之后的结果就是
key1:{a:12,b:2:c:6}
翻看 kafka streams 的文档貌似没有找到解决办法
请问各位遇到过类似的问题么，在实时数据分析上，
 |
1
3a3Mp112 2018-04-27 17:06:10 +08:00  1
logstash 采集 kafka 的数据到 spark 里，scala 清洗一下然后再 jdbc 写到数据啊。
https://aiyanbo.gitbooks.io/spark-programming-guide-zh-cn/content/spark-streaming/index.html |
 |
2
funky OP 不借助 spark
借助 spark 的方案我之前实现了但是觉得只是为了数据分析而搞一大推东西 |
 |
3
timonwong 2018-04-27 17:36:34 +08:00
kafka streams 没有 windowed aggregation?
|
|
4
funky OP 有的但是效果不是我想要的 它内部是个 changelog，每次窗口之后内部的 key 不会清除
|
|
5
timonwong 2018-04-27 18:09:37 +08:00
 如果 tumbling window 不行的话，就有点反自觉了 |
Select Language