1
wsy2220 2017-11-20 18:06:19 +08:00 1
apt-get install fdupes
|
2
exch4nge 2017-11-20 18:20:16 +08:00
我觉得瓶颈应该在磁盘 IO 吧……
先按大小分,然后 sha 存入哈希表( C++的话 unordered_multimap ) |
3
lerry 2017-11-20 18:32:42 +08:00 2
github 上看到过有这种项目,现在找不到了,我记得是这样,
先比较文件大小,相同的再用速度快的散列算法比如 md4,如果再相同再用 sha1 兼顾效率和准确性 |
4
msg7086 2017-11-20 18:58:40 +08:00
先比较大小,再快速比较文件特征(比如前 1MB+尾 1MB 的 hash ),再全文件 Hash。
|
5
neosfung 2017-11-20 21:23:08 +08:00 via iPhone
文本文件还是二进制文件?
|
6
Arnie97 2017-11-21 01:51:03 +08:00 via Android 1
Windows 用户可以用这个: http://schinagl.priv.at/nt/dupemerge/dupemerge.html
(我是跟着他家另一款软件 http://schinagl.priv.at/nt/hardlinkshellext/hardlinkshellext.html 找到这里的,在资源管理器右键菜单中加入软硬链接的选项,很好用) |