V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lihongjie0209
V2EX  ›  问与答

使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓

  •  
  •   lihongjie0209 · 2018-03-30 15:43:37 +08:00 · 3263 次点击
    这是一个创建于 2428 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在使用了线程池创建, 不过速度还是很慢

    第 1 条附言  ·  2018-08-12 20:37:09 +08:00
    这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.
    15 条回复    2018-03-31 14:02:13 +08:00
    BQsummer
        1
    BQsummer  
       2018-03-30 18:35:38 +08:00 via Android
    换电脑,cpu 核心不够,线程再多也没用,反而慢。
    zj299792458
        2
    zj299792458  
       2018-03-30 20:39:05 +08:00 via iPhone
    @BQsummer 这瓶颈在于 IO 了吧,CPU 过剩了
    janus77
        3
    janus77  
       2018-03-30 20:41:34 +08:00 via Android
    无限平方 复制粘贴大法?
    liucudliucud
        4
    liucudliucud  
       2018-03-30 21:00:09 +08:00 via Android
    搭建一个 hadoop 集群
    lhx2008
        5
    lhx2008  
       2018-03-30 21:05:18 +08:00 via Android
    nodejs npm 几下就有几百万个文件了(滑稽)
    lihongjie0209
        6
    lihongjie0209  
    OP
       2018-03-30 21:45:15 +08:00
    @lhx2008 #5 黑的漂亮
    lihongjie0209
        7
    lihongjie0209  
    OP
       2018-03-30 21:46:32 +08:00
    lihongjie0209
        8
    lihongjie0209  
    OP
       2018-03-30 21:46:52 +08:00
    @zj299792458 #2 我感觉是, 但是找不到什么好办法
    dobelee
        9
    dobelee  
       2018-03-30 21:49:15 +08:00 via Android
    touch 三百万应该很快吧。
    你发帖的时间应该 touch 完了。😂
    lihongjie0209
        10
    lihongjie0209  
    OP
       2018-03-30 21:55:11 +08:00
    @dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
    MrGba2z
        11
    MrGba2z  
       2018-03-30 22:59:33 +08:00
    dd & split
    bingod
        12
    bingod  
       2018-03-31 13:37:20 +08:00
    创建一个 300 万条数据的文件,然后分成 100 个字典(或更多),再将每个字典里的文字保存成 30 万个包含单条数据的文件,可以用多线程。
    bingod
        13
    bingod  
       2018-03-31 13:38:42 +08:00
    写错了,应该是 3 万条,主要的问题是文件系统比较慢
    STRRL
        14
    STRRL  
       2018-03-31 13:49:11 +08:00 via Android
    估计是磁盘跟不上,试试 ramdisk
    lihongjie0209
        15
    lihongjie0209  
    OP
       2018-03-31 14:02:13 +08:00
    @STRRL #14 这个想法可以有, 谢谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3068 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:51 · PVG 21:51 · LAX 05:51 · JFK 08:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.