mysql 单表数据过大最好的处理方式

[blueorange]

已经严重影响查询性能，纯粹添加索引会影响插入性能，请问还有其他方式么

[blueorange]

已经达到千万级别

[jyounn]

分区

[lhx2008]

先加索引啊，不加索引你事务插入要锁表的

[zuoakang]

分区，分表，分库。

[reus]

千万不算过大
索引该用就用

[jabin88]

同步到 mongodb 或者 es，这样就不用查 mysql 了，再多 10 倍都可以

[blueorange]

@jabin88 有什么好的方案实时同步吗？

[dapang1221]

比较好奇以前不加索引你是怎么查的……语句都是全表扫么……

[ducklyl]

如果只是影响查询性能，可以把数据同步到 es 或 solr，使用全文检索提高查询性能

[sujin190]

如果只是 4 到 5 项索引，写性能影响不大吧，除非你写特别多，如果每秒过千的写，估计也不是单表千万数据的问题了
千万级别对 mysql 数据真不算大，如果索引超过内存很多，倒是可以多加点内存，索引和查询缓存的效果还是很明显的

[chaleaochexist]

分区.分表.分库.

[opengps]

每月重复一次。如果不是分布式 DRDS 那种方案的话：
先考虑表分区
然后考虑分表
然后考虑分库

[blueskea]

拆表，分区，读写分离，canal 同步到 hive es tidb 之类

[opengps]

补上我的经历： https://www.opengps.cn/Blog/View.aspx?id=284
GPS 密集写入案例：单机数据库阶段，sql server 使用表分区，线上应用最大单日写入 1500 万行，最大单表大小 12 亿
没有更高实际应用数值的原因是替换了别的数据库

[mmdsun]

单表行数超过 500 万行或者单表容量超过 2 GB，推荐进行分库分表。

[qianji201712]

@opengps 大佬，学习了！

[opengps]

@qianji201712 怪我嘴拙，当时是 2012 年，设计这张表的时候不会写文章，至今才整理成可以让人看懂的文字

[iyaozhen]

要看几千万还有未来的趋势，1 亿以下表分区就行了。

再多就要分库分表了，业务层也需要改动

[love]

现在都 ssd，千万算个啥，除非你没索引全表扫描了

[hilbertz]

128g 内存，ssd 硬盘，几十亿都没问题

[Radom]

千万也算大？

[mineqiqi]

千万级别的加索引完全能解决

[Joyboo]

还以为是每日千万级别。。

[sean328]

不推荐分区，千万级别数据单表索引合理日常增删改查完全是没问题的，再多的话再考虑分表分库

[Evilk]

之前单表数据在 5000W 左右,用的分区,后面如果持续增长的话,可以考虑 es,分表.分库不太建议,业务层也要改动,成本太高