mysql 里有 1000W 手机号,如何将提供的 100W 号码在 1000W 里出现过的快速过滤掉?
1
gorilla 2018-07-23 17:00:11 +08:00
Pandas,或者 Spark
两个数据集,求差集~ |
2
linyinma 2018-07-23 17:53:34 +08:00
[这种问题最好还是和需求结合起来说明]
如果单纯说算法这是很简单的将 1000W 条数据从 MySQL 导出创建 bitmap 索引,查询算法就是 O ( 1 ),这是最快的 |
3
darren2900 OP 需要实时,用户上传 100W 号码,就直接把 100W 中在 1000W 出现的过滤掉,1000W 记录当前是在 mysql
|