现在使用了线程池创建, 不过速度还是很慢
1
BQsummer 2018-03-30 18:35:38 +08:00 via Android
换电脑,cpu 核心不够,线程再多也没用,反而慢。
|
2
zj299792458 2018-03-30 20:39:05 +08:00 via iPhone
@BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了
|
3
janus77 2018-03-30 20:41:34 +08:00 via Android
无限平方 复制粘贴大法?
|
4
liucudliucud 2018-03-30 21:00:09 +08:00 via Android
搭建一个 hadoop 集群
|
5
lhx2008 2018-03-30 21:05:18 +08:00 via Android
nodejs npm 几下就有几百万个文件了(滑稽)
|
6
lihongjie0209 OP @lhx2008 #5 黑的漂亮
|
7
lihongjie0209 OP |
8
lihongjie0209 OP @zj299792458 #2 我感觉是, 但是找不到什么好办法
|
9
dobelee 2018-03-30 21:49:15 +08:00 via Android
touch 三百万应该很快吧。
你发帖的时间应该 touch 完了。😂 |
10
lihongjie0209 OP @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
|
11
MrGba2z 2018-03-30 22:59:33 +08:00
dd & split
|
12
bingod 2018-03-31 13:37:20 +08:00
创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。
|
13
bingod 2018-03-31 13:38:42 +08:00
写错了,应该是 3 万条,主要的问题是文件系统比较慢
|
14
STRRL 2018-03-31 13:49:11 +08:00 via Android
估计是磁盘跟不上,试试 ramdisk
|
15
lihongjie0209 OP @STRRL #14 这个想法可以有, 谢谢
|