RT ，类似那种全量数据统计的需求，比如有个每日打卡的需求，用户每天都可以点击打卡按钮打卡，保存一条打卡记录，最终要统计每个用户每周、每月、每年打卡天数在全站排名前百分之几； 假设用户量千万级。
类似这种全量统计的需求，一般你们是丢给数仓直接全量刷数据统计，还是自己搞个业务 mysql 表一点点统计？
 |
1
dobelee 2 天前
我的经验，一般准确性、实时性要求高的，就走服务端；涉及复杂关联或聚合的就走数仓。
你这个例子，服务端记录简单的操作日志，用户查询走服务端。聚合统计走数仓，这种一般是运营数据需求，非业务需求，理论上你可以不用管。 |
 |
2
sagaxu 2 天前 via Android
打卡这个例子并不好，每年打卡最多才 366 次，每个次数都记录下人数，再记录比每个次数多的人数总和，根本用不上全量统计，直接实时出结果。
|
 |
3
CodeCaster 2 天前
这个需要结合业务一起来看，就比如你说的这个打卡的例子，显然是一个实时性并不高的业务场景，每天刷新一下结果就可以了，那么用 MySQL 存储每个人的打卡记录，每天定时任务离线计算结果，同时，对一定时间之前的打卡数据转移至冷数据表，保证热数据表数据量不会无限增长。
|
 |
4
dode 1 天前
单独做一个幂等更新的用户每日打卡结果表，然后就可以直接算每日，每周，每年的排行了
|
 |
5
spritecn 12 小时 28 分钟前
数仓门槛那么高,这点小活给大数部门人家都懒得理你
|
Select Language