a 、b 两个 index 是两种类型消息的索引 一个是直播间老师发的 一个是直播间学员发的 现在合并在一起 取了一个别名 c 这样我在查询的时候可以通过 c 查到所有消息 但是 a 和 b 的_id 可能会存在重复。。
现在遇到的问题是:分页数据重复问题 因为消息发得比较快 所以当翻页到第二页的时候 可能会出现已经出现过在第一页的数据
首先想到的是通过_id 定位分页 就是拿上一页最大的_id 去查第二页的数据 但是:a 和 b 的_id 可能会重复(_id 不是自动生成的,mysql 表的 id 拉过来的),所以 pass ,,
第二种方案是:通过一个固定的消息时间去搜索总数据 这样不会出现第二页出现第一页的数据的情况了 但是不太符合前端的场景
类似于 APP 端的那种直播间 最新消息在最下面 要看历史消息要往上翻页 这种方案对于往上翻是满足的
但前端做了轮训的功能 相当于要提供一个接口 返回增量消息 这种方案传一个固定时间点的话 返回的将是比这个时间点新的累计的消息 这样不行 如果是传当前页的最大消息时间来获取增量消息 又会出现数据重复问题(可能会出现上一页的消息 时间点重复的话)
SO 如何解决 求助 V 友
1
loveyu 2022-07-06 13:03:08 +08:00
一次性把 id 全部查出来缓存,然后分页,第二页走缓存
|
2
HackerJax 2022-07-06 13:08:31 +08:00 via iPhone
搜索 es 游标查询
|
4
Gorgine OP 好不容易知道还有种分页叫 search after 可以解决翻页数据重复的问题 结果后来知道_id 可能是重的。。
|
5
Gorgine OP 反正要解决两个问题 一个是翻页消息不能重 另一个是方便拉取新 /增量消息
|
6
crysislinux 2022-07-06 13:33:22 +08:00 via Android
前端自己过滤掉重复的就好了,取的时候多取几条。像推荐之类的也是这样防止重复的
|
7
reter 2022-07-06 13:46:56 +08:00
search after 也可以啊.
确定一条消息的唯一性可用的属性有:发送时间,消息 ID ,消息来源。只要 "消息 ID"+"消息来源" 的组合你如果能保证唯一性就可以。 然后用 search after 搜索,排序用这三个字段,就能保证不重复获取 |