V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
tyit
V2EX  ›  Linux

压缩大文件,比如 200G 或者 500G 的文件,有啥相对快速的方案嘛?

  •  1
     
  •   tyit · 2020-05-31 00:30:59 +08:00 via iPhone · 5212 次点击
    这是一个创建于 1638 天前的主题,其中的信息可能已经有所发展或是发生改变。
    11 条回复    2020-06-02 13:25:45 +08:00
    gargar
        1
    gargar  
       2020-05-31 08:55:46 +08:00
    看具体情况吧。
    一般瓶颈在压缩算法。
    有的快,但压缩率低。
    有的压缩算法支持并行,可以多线程。
    evilic
        2
    evilic  
       2020-05-31 09:22:54 +08:00
    采用存档压缩。。。。这算不算是有效的回答。。。
    deasty
        3
    deasty  
       2020-05-31 09:45:10 +08:00 via iPhone
    @evilic 这应该叫打包吧,压缩的目的不是让文件变小吗
    nightwitch
        4
    nightwitch  
       2020-05-31 11:01:26 +08:00
    evilic
        5
    evilic  
       2020-05-31 12:52:47 +08:00
    @deasty #3 我认为方便传输也算是压缩的目的之一。。。举例来说,一个由单张 4M 大小 jpg 组成的一个 500G 文件夹传输起来可能会让人等好久的,压缩之后在传输的时候速度就会很快呀。
    learningman
        6
    learningman  
       2020-05-31 14:03:15 +08:00
    LZMZ2 可以跑多线程
    但是瓶颈说不定是 IO 。。。
    learningman
        7
    learningman  
       2020-05-31 14:04:16 +08:00
    @evilic 你这个需求打个 tar 就行了,只有 IO 作为瓶颈
    压缩解压的时间绝对大于那 5%3%的压缩率省下来的时间
    aloxaf
        8
    aloxaf  
       2020-05-31 19:01:31 +08:00
    更高的速度通常都是以更低的压缩比为代价的,你需要根据场景自行权衡。
    LZ 可以试试 lz4, lzo
    zhujoen
        9
    zhujoen  
       2020-05-31 20:56:32 +08:00   ❤️ 1
    pied piper
    你值得拥有 [手动狗头]
    noreplay
        10
    noreplay  
       2020-06-01 07:51:33 +08:00 via Android
    @zhujoen 不是会引来老鼠🐀吗?
    ps1aniuge
        11
    ps1aniuge  
       2020-06-02 13:25:45 +08:00
    我觉得楼主的问题,可以改为,“linux 下有哪些压缩软件,支持多线程压缩?”
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2725 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 10:06 · PVG 18:06 · LAX 02:06 · JFK 05:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.