单表千万级, 要根据各种查询得到 ID 集合; 已经建立了各种索引, 速度还是慢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 1500 天前的主题，其中的信息可能已经有所发展或是发生改变。

除了缓存还有别的方法吗?

因为筛选条件比较多; 如果全都排列组合出来, 可能有 1000 种

单表

索引

排列

筛选

17 条回复 • 2020-09-28 11:03:04 +08:00

hooopo

2020-09-27 13:13:22 +08:00 via Android

用 postgres 有布隆索引

shaoyijiong

2020-09-27 13:20:36 +08:00

要不上 es

RickyC

2020-09-27 13:23:58 +08:00

@hooopo
@shaoyijiong

我们只要求查询总数小于 10 万的 id 集合;
现在可以得到各种查询的总数

这也必须改成其他数据库或者上 es 吗?

es 可以在 PHP 用?

aimaodeyuer

2020-09-27 13:33:30 +08:00

@RickyC es 完美适配

nomansky

2020-09-27 13:37:13 +08:00

binlog 订阅同步到 es，在 es 里面做查询

fareware

2020-09-27 14:08:23 +08:00

如果是 MySQL , 很多时候，建了很多索引恰恰是选错的索引的原因。
可选出几个慢查询，explain 是否真正使用了你想让 MySQL 使用的最佳索引。
如果的确使用了期望索引，还很慢，可能是索引区分度过低，业务是否可调整？保证大部分查询可以用到良好的索引。
如果业务无法调整，对于 1k 余种查询组合，宽表还是多表 join ？宽表是否可拆分，多表 join 是否可优化。
如果使用缓存，读多写少，还是读少写多？前者如何保证缓存高可用？后者不适合使用缓存。是否有冷热数据？
如果使用 ES，如何保证一致性，如何处理深度分页....
我一直觉得，做技术和做事，都要循序渐进，新技术名词不是撑门面的，合适地方用合适东西，保证可演进。
单一句“用 Es”, 那不如直接一步到位，搜搜最牛掰的搜索架构得了。