V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
iyg429
V2EX  ›  问与答

如何删除重复的图片!

  •  
  •   iyg429 · 2022-01-30 15:23:07 +08:00 · 3844 次点击
    这是一个创建于 1012 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不知不觉已经存了有 6TB 的照片了
    ,硬盘里的照片应该有一部分是重复的
    有没有什么软件可以检测到重复的照片 让我筛选,
    这样硬盘就可以存了
    一张一张看太浪费时间了
    之前写入硬盘的时候,也没有懂得分配 就是全部的照片都放到一个文件夹的
    28 条回复    2022-02-07 15:46:54 +08:00
    cnrting
        1
    cnrting  
       2022-01-30 15:28:12 +08:00 via iPhone
    ccleaner
    atrexl
        2
    atrexl  
       2022-01-30 15:37:17 +08:00 via Android
    为什么重复照片文件名竟然不一样
    iyg429
        3
    iyg429  
    OP
       2022-01-30 15:46:09 +08:00
    @atrexl #2 因为老硬盘汇总到一个新硬盘的 ,当时本着就算重复也不能拷贝少的缘故 导致现在硬盘里有相当一部分应该是重复的 但是文件名应该是被我改掉了
    iyg429
        4
    iyg429  
    OP
       2022-01-30 15:46:20 +08:00   ❤️ 1
    @cnrting #1 这玩意不是清理电脑的吗
    jasonyang9
        5
    jasonyang9  
       2022-01-30 15:50:32 +08:00
    https://dupeguru.voltaicideas.net/
    开源跨平台的,用过还行。但你这么多图谱扫描一次也够呛,哈哈。
    jasonyang9
        6
    jasonyang9  
       2022-01-30 15:51:04 +08:00
    @jasonyang9 s/图谱 /图片
    cnrting
        7
    cnrting  
       2022-01-30 16:00:10 +08:00 via iPhone
    @iyg429 有重复文件清理功能
    dji38838c
        8
    dji38838c  
       2022-01-30 16:07:35 +08:00
    自己写一个好了,很快
    重复的图片字节数应该是完全一样的
    hello2090
        9
    hello2090  
       2022-01-30 16:07:49 +08:00
    楼主你找不到的话可以留个邮箱,我有个自己写的 python 脚本可以发给你,查找 /删除两个文件夹中的重复文件的
    dianso
        10
    dianso  
       2022-01-30 16:11:18 +08:00   ❤️ 1
    Glauben
        11
    Glauben  
       2022-01-30 16:14:48 +08:00   ❤️ 1
    相同文件只是文件名不同的情况下,可以比对一下文件 hash ,找出重复的。自己写吧。我一开始还以为是用 AI 找出相似度高的删除
    TigerK
        12
    TigerK  
       2022-01-30 16:19:14 +08:00   ❤️ 1
    重复文件使用 DoubleKiller 删除,可以设定文件大小、hash 值相同。
    重复图片、相似图片使用 DuplicateFinder 删除,可以找到一定相似度的图片,一般是不同分辨率下的,或者是组图。
    virlaser
        13
    virlaser  
       2022-01-30 16:21:26 +08:00   ❤️ 1
    用过不知道从哪儿下载的破解版 Duplicate Cleaner Pro ,可以根据图片相似度来查找,扫描速度也蛮快的
    https://imgur.com/a/3iuU7aR
    yfugibr
        14
    yfugibr  
       2022-01-30 16:22:52 +08:00 via Android   ❤️ 1
    antidupl ,可以查找相似照片,标记不同之处
    iyg429
        15
    iyg429  
    OP
       2022-01-30 16:24:04 +08:00
    @hello2090 #9 邮箱:aXlnNDI5QDE2My5jb20= 非常感谢)
    villivateur
        16
    villivateur  
       2022-01-30 18:28:05 +08:00 via Android   ❤️ 1
    有个专门做这种事情的软件,Duplicate cleaner
    imn1
        17
    imn1  
       2022-01-30 18:45:01 +08:00   ❤️ 2
    我还以为你要找“相似图片”,这是个大难题,我程序写了几年,这块功能至今还没满意
    我 50+TB 找相似那才叫一个头痛

    根据你 #3 的描述,这种情况只是文件多重拷贝,hash/bytes 都相同的,很多工具可以做
    windows 有个软件叫 clonespy ,速度比较快,可以检查同时自动删除,你指定某个目录作为参照(不删除),哪个作为查找删除就可以了
    NAS 的话我不晓得,linux 下面也有不少类似工具
    imn1
        18
    imn1  
       2022-01-30 19:03:02 +08:00   ❤️ 1
    PS: 找相似图片的工具我用过二十多个,个人觉得最强是 SimilarImages © 2004-2012 by Nils Maier
    这货是用 image hash 比较的,可以保存 hash 值到自带的数据库(sqlite),然后离线检查,就是不用挂载着参照目录去逐一比较,对于图片分散在多个硬盘的人很好用,可惜好像已经停更多年

    我现在是用 opencv 的 template match 自写程序(还在不断修改)
    Issacx
        19
    Issacx  
       2022-01-30 19:21:32 +08:00   ❤️ 1
    我用过一个 python 库,有 hash 和 CNN 的几种实现,其中 CNN 是基于 MobileNet 做的,可以检测相似但不完全相同的照片。我自己写了几个脚本调用,效果还不错。

    Github: https://github.com/idealo/imagededup
    hanguofu
        20
    hanguofu  
       2022-01-31 01:55:41 +08:00
    好奇问问:这种软件为什么不是使用 c/c++ 效率最高吗 ?
    Drumming
        21
    Drumming  
       2022-01-31 11:14:21 +08:00   ❤️ 1
    我是上传到网盘...
    然后网盘自带图片近识度删除功能= =
    之前还用过这个软件 ,也还行
    https://www.billfish.cn/
    jin7
        22
    jin7  
       2022-01-31 11:48:52 +08:00   ❤️ 1
    double killer pro
    mikewang
        23
    mikewang  
       2022-01-31 11:55:15 +08:00   ❤️ 1
    如果只是文件名不同,内容完全一致的话,使用 fdupes 命令。
    https://www.unix.com/man-page/debian/1/fdupes/
    7Qi7Qi
        24
    7Qi7Qi  
       2022-01-31 12:46:52 +08:00
    Duplicate cleaner + 1
    sutra
        25
    sutra  
       2022-01-31 15:03:50 +08:00
    换个支持 deduplication 的文件系统,比如 zfs 。
    brucmao
        26
    brucmao  
       2022-02-02 13:56:20 +08:00
    Myprajna
        27
    Myprajna  
       2022-02-03 19:22:41 +08:00
    新雨重复照片查找器,这个最好。在 10 几个里面
    Colinv
        28
    Colinv  
       2022-02-07 15:46:54 +08:00
    刚好在前段时间同样面临这个问题,在尝试了一圈网络上提供的解决方案之后,目前发现最优的方案是 [lightroom] +插件 [Teekesselchen] (免费),通过自定义筛选 rules ,可以比较全面而准确地识别出重复图片,特别是经过不同命名的两张重复图片。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5615 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 06:05 · PVG 14:05 · LAX 22:05 · JFK 01:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.