100G 左右数据， mysql 理论上可能会比大数据引擎快吗？

[NeezerGu]

跟朋友闲聊突然想到，因为是做数据分析的，对底层引擎就不太懂啦。

比如，980pro 4 条组 raid 0 （ YouTube 上有视频，https://www.youtube.com/watch?v=OCGguruZyrw&t=413s 甚至直接 256G 内存，拿 120G 内存当硬盘（一时之间忘了这个名词）

用 mysql 或者 clickhouse，对比 spark 、presto 等，会存在前者更快的可能吗？

[paopjian]

这要干的活都不是一个事吧

[NeezerGu]

@paopjian 的确不是一个。
正常来讲大厂也不可能用关系型数据库来做数分。
只是好奇如果是小厂，数据量不大的情况下，如果有人维护，mysql 等是否可能战胜大数据引擎

[clf]

mysql 是关系数据存储。

clickhouse 是数据列存储，以列做统计分析。

spark 是计算引擎（分析工具），数据存储是 HDFS （ Hadoop 模块）。

[misaka19000]

快，指的是查询快，还是写入快，还是分析快，还是计算快

[NeezerGu]

@misaka19000 查询快，
粗暴点假定不需要 join，100G 表进行 group by 的 sum 、avg 运算

[leonme]

@NeezerGu 100g 对应多少行数据呢？

[NeezerGu]

@leonme 对这方面确实不够敏感 doge，我看了下一个现成的表，9 个字段（没有很长的文本字段），一天大概 300w 行，200M，要不就以这个为例？
那大概就是 150000W 行

[billlee]

clickhouse 和 mysql 不是一个类型的啊，clickhouse 针对查询建表，比 spark 快是没问题的吧？

[Jooooooooo]

做什么事快?

[noqwerty]

ClickHouse 和 Spark 还能勉强比一下，MySQL 跟这两个真不是干一个活的： https://h2oai.github.io/db-benchmark/

[noqwerty]

这里有些 benchmark 的文章可以参考一下： https://github.com/ClickHouse/ClickHouse/issues/22398

[NeezerGu]

@noqwerty 感谢

[NeezerGu]

@Jooooooooo 就像上面说的。
查询快，
粗暴点假定不需要 join，100G 表进行 group by 的 sum 、avg 运算