重复文件探测和清理工具，bash命令行脚本(合集转寄)

命令行工具，能扫描目录建立一个数据库，记录文件校验和，此后依赖数据库判定重复文件，也可以删除重复文件。 数据库是增量维护，第一次慢，之后就很快了。 https://github.com/jkzhang2019/cldup/ 手册在 https://github.com/jkzhang2019/cldup/wiki cldup -u #建立/更新数据库，第一次相当于目录计算摘要，比较耗时。此后只对变更的文件计算，就很快了。 cldup -l file.name #判断文件是不是重复文件，不清理 cldup -f filename #清理重复文件，清理前会比对md5. cldup -f * #清理目录内所有重复文件 也可以一个命令到底： cldup -uf *

不是有现成很多工具吗 是bash写的……敬仰一下

开工以后试一试。

建议删除后马上建个同名hardlink指向保留下的文件实体上 尤其是不同目录下的文件，很可能不同应用各自需要一个只读副本而已 ZFS dedumplication 是要保留所有访问入口的

嗯，可以增加个参数干这事儿哈。

第一次相当于全目录计算chksum，需要点耐心。

还有那些工具？正想找一个这样的，带gui最好。

请问这个怎么列出重复的文件呢？ 有些重复的文件是我想保留的，有些是不想保留的，所以想先看看哪些文件重复。

先扫所有文件，建库记录摘要。 此后可以随时查库，判断某个文件有无重复副本。 -l 参数就是只判断不删除。 -u 参数是建库或者更新库，增量更新的。

duff fdupes fslint <== 还是这个好用，因为可以选择到底删除哪些照片 rdfind 这是以前为了删重复照片搜索出来的一些工具

好，我移完数据再试一下，之前 -u 把硬盘撑爆了

除了fslint，其它全部能apt搜到。看样子好像只有snap提供二进制版本。 github的fslint下载下来，运行出现找不到gtk，原来这货是用python2，我的系统升到11了后已经没有python-gtk这个包了。

我好久没整理相片了…… 不过他主页不是提到两个方案吗？https://www.pixelbeat.org/fslint/ [Update: Please see the czkawka project, a rust reimplementation, which is more actively maintained, and easier to install on modern systems.] [Update: Please also see the snap distribution of fslint, which is now the easiest way to install on modern systems.]