新足迹 › 论坛 › 兴趣爱好区 › IT与科技 › 电脑和宽带 › 用python查找重复的文件？求教

精华好帖回顾
· 青春期青春期 (2008-9-13) cl2007	· Lanshan: 美容养颜，引领健康时尚－黑芝麻吐司和小面包（超详图，Mixer 版） (2012-5-16) lanshan
· 分析贴谈一谈15000公里OPEL Insignia Wagon的感受多图加分不要手软啊 (2014-5-25) jimmy9046	· Without You （Patrick Zhu Vs SteveKing之一） (2008-6-2) patrickzhu

查看: 3534|回复: 4

用python查找重复的文件？求教 [复制链接]

天字第一号

金靴族

发表于 2015-7-5 00:03 |显示全部楼层

此文章由天字第一号原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者天字第一号所有！转贴必须注明作者、出处和本声明，并保持内容完整

NAS上备份的照片有很多重复备份了的，没法一张张肉眼对比来删除多余的，有一些照片不知道怎么回事文件名和原始照片差别很大，没有规律。
现在想用python来查找出重复的照片，然后只保留一张，其它删除。

打算先计算出每张照片的md5 sum值然后再逐一遍历再比较，不知道这样是不是查找对比的准确率会比较有保证？但是照片多，效率好像有点低

另外，还想请问一下大家还有什么方法进行比较比遍历的效率高点??

楼主没什么编程经验，全靠自学，希望高手们指点一二。

否极泰来

newtoall

皮靴族

发表于 2015-7-5 06:04 |显示全部楼层

此文章由 newtoall 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 newtoall 所有！转贴必须注明作者、出处和本声明，并保持内容完整

How about sort by size and then put exactly same size ones into select to delete ones ? Probably easier

评分

参与人数 1	积分 +2	收起理由
天字第一号	+ 2	感谢分享

查看全部评分

5.5

皮靴族

发表于 2015-7-5 12:15 |显示全部楼层

此文章由 5.5 原创或转贴，不代表本站立场和观点，版权归 oursteps.com.au 和作者 5.5 所有！转贴必须注明作者、出处和本声明，并保持内容完整

楼主家有windows7/8 否？ , run below in powershell
第一行是算hash的，巨慢（no win7)
第一行是算file size的，巨快 (win7/8) @newtoall
请叫我雷锋

( Get-ChildItem -file -path C:\HomePicture\2015-01-01\*.JPG | Get-FileHash | select hash,Path | group -Property Hash | sort count |Where-Object {$_.Count -gt 1} ).Group

(Get-ChildItem -file -path C:\HomePicture\2015-01-01\*.JPG -Recurse | select Length,fullname | group -Property Length | sort count|Where-Object {$_.Count -gt 1} ).Group