V2EX › KJH 的所有回复 › 第 1 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9

❮

❯

33 分钟前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@v2day 大佬请教个问题，目前 doris 作为 ods 层，mysql-> doris 已经验证都 ok 了没啥问题，但目前由于产品在云上，可选择的工具很少，这就导致了 dwd dws 层的数据不太好生成，
如果使用数据库自带的 insert into select 不太好监控执行情况以及后续的运维，

想请教下，目前生成 dwd dws 大宽表比较好的方案是什么

14 天前

回复了 mylastfire 创建的主题 › 生活 › 好奇大伙每月花在这方面的钱有多少呢？

@PoIKIloThERMer 不用了，难使

16 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@haimianbihdata 感觉这个方法可以哦，我尝试尝试，感谢感谢，

17 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@NoString 是有考虑过轻量级删除，但是后面想要长久的稳定运行，总觉得不是最终方案，可以作为临时方案过度一下，我们也考虑考虑

@bitmin 那还挺新的

@ForMrFang 阿里可选择的东西确实比较多

@1996wang 哈哈正在写方案了，后面就测试下性能

@ChenKeLiang 我了解下

@haimianbihdata 我们 flink 只对接了数据仓库，想要再对接其他的涉及到服务器成本和开发成本，现在都在降本增效 T.T

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@NotLongNil ok 我们也考虑试试，谢谢

@bitmin 你的 doris 是哪个版本呀

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@nedqqcc @yh7gdiaYW 好的，目前在尝试 doris

@pulutom40 @superliy 云服务商不支持 starrocks [捂脸] 只能考试 doris 了

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@v2day 看来只能是从 StarRocks 和 doris 这里面入手了，整体架构还得在调整下，但我们目前已经有了 MYSQL 做数据仓，不太可能替换为 StarRocks ,只能考虑数据仓到 StarRocks 这步。

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@jon202107 这个方案我们也考虑过，查询的时候带版本号意味着也要做去重的那种操作，我们改动比较大，所以后面放弃了

@JRay 我上午了解了下，StarRocks 或者 doris 确实是比较合适的方案，我再深入研究研究

@vacuitym final 相当于合并了，而且没办法表关联查，后来我们就 pass 掉这个方案了

@glacer 通过查询指的还是 final 或者 argMax 这些近些处理吧

@NotLongNil 是的，有考虑个轻量级删除，不过还没实际测试，我想的是如果每 5 分钟删一次，会不会有其他潜在问题，后面我测试下

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@ranxy 我们比较依赖云服务商，他们没 tidb 这个产品 [捂脸]

@suixn 好，刚刚有位大佬也让我看了看 doris ，我看了下这两个确实比较适合数据频繁更新的场景，我再深入研究研究

@xiaolongorigino 宽表确实是在计算引擎中生成的，报表查询的时候通过 ck 查宽表，hbase 我了解下

@Desdemor 确实，我们更新的时候，并发一多，处理的任务就堆积下来了

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@hongye 我们对实时性要求很高，想数据发生变化后立刻就能看到报表的变化，最少也得 5-10 分，但这个数据量要同步更新到 clickhouse 以及跑宽表，这么短时间确实不太好做到

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@skymei 我看看

18 天前

回复了 KJH 创建的主题 › 程序员 › clickhouse 实时数据更新方案求助

@hongye 之前了解过物化视图，只能监听到源表新增的数据，如果数据变更是不会触发物化视图的，不太适合我们的场景 T.T

26 天前

回复了 DeWjjj 创建的主题 › JetBrains › 从事互联网开发生涯已经长达 6 年了，头一次不想续费 jb(因为 jb 的 ai 还要二次收费)！

@wangritian 工作日我试试，更新到 2024.3.5 之前就没这个问题，哎