一个可以利用多核心 CPU 来加速压缩的 gzip 实现:
Ubuntu 下可以直接 apt install pigz
安装。
和原始单核 gzip 的性能对比:
1
lcdtyph 2020-10-29 02:18:58 +08:00 via iPhone 4
一直在用,还有其他格式的几个
pixz 并行版的 xz pbzip2 并行版的 bzip2 和 tar 联动的话可以这样 tar -Ipigz -xf xxx.tar.gz |
3
AlohaV2 2020-10-29 08:45:55 +08:00 1
之前试过解压速度和压缩比,zstd 在性价比上是测过最高的,也有 pzstd 库支持并发。
https://github.com/facebook/zstd/tree/dev/contrib/pzstd |
4
lcdtyph 2020-10-29 10:07:27 +08:00 via iPhone
@yyfearth
没,虽然提供了--threads 选项,但是 manpages 里有一句"Multithreaded compression and decompression are not implemented yet, so this option has no effect for now." |
5
AlohaV2 2020-10-29 14:09:42 +08:00 1
@lcdtyph @yyfearth
7-zip 的 LZMA SDK 支持 xz 多线程解压,不过好像只有 Windows 平台可以。我之前还改过,加了下 Linux 的支持 https://unique-ptr.com/archives/92.html 不过后来一顿搜索之后,还是决定转投 zstd 了 |
6
ericFork 2020-10-30 03:18:52 +08:00 1
两年前测了一大圈,考虑到很多场景下解压速度更重要,zstd 无出其右
|