[請問] 搜尋重複檔案 快速:只檢查部分內容

作者: i8i (狀況已經不能再糟了)   2016-12-05 20:47:47
因為NAS共用,上面的照片跟影片好多被重複上傳。
現在正在找刪除重複檔案的軟體。
試用了兩三個都有達到我的目的,但核對的時間非常久。
想要請問有沒有刪除重複檔案的軟體,
可以設定檔案大小相同的話就只核對前10MB 或前1MB的檔案內容(可設定)。
我的影片如果不是同一部的話,應該前1MB的內容就全都不一樣了。
前面檔案內容一樣的話,後面的內容就不要核對了。
用這個方式增加速度。
謝謝~~
作者: agreerga (鴨毛)   2016-12-05 23:16:00
不能直接針對檔名就好嗎?
作者: i8i (狀況已經不能再糟了)   2016-12-05 23:29:00
我同檔很常有不同檔名 name 或 name(2) 或 name_2 都發生過
作者: rick65134   2016-12-06 08:54:00
加上檔案大小為判斷依據?
作者: i8i (狀況已經不能再糟了)   2016-12-06 23:01:00
我想要檢查1.檔案大小 2.檔案前1MB內容 符合這兩項就當作相同
作者: spfy (spfy)   2016-12-07 08:54:00
這樣還是要解析影片吧 個人感覺沒你想像的這麼簡單...
作者: agreerga (鴨毛)   2016-12-07 09:04:00
我是覺得既然都確定是重複上傳了 檔名直接看不會錯吧除非你又有改掉檔名
作者: i8i (狀況已經不能再糟了)   2016-12-08 00:08:00
我再補充一下別的狀況,太多人共用這個NAS,抓影片的渠道不同很常會有檔名不同,但內容物相同的狀況。例如:*****.HR-HDTV.AC3.1024X550.x264-人人影视制作.mkv跟 :*****.國日音軌.雙語字幕.mkv是同個檔案,被重複抓下來。佔用太多空間。全部掃速度又太慢
作者: y3k (激流を制するは静水)   2016-12-08 07:07:00
CRC
作者: spfy (spfy)   2016-12-08 08:38:00
你指的相同是只有影片相同 還是要連壓縮編碼 音軌 通通相同?只對比前者的話應該不可能用軟體幫你找 同影片不同壓縮BDRIP/DVDRIP 1080P/720P 這些對軟體來說通通是不同的
作者: i8i (狀況已經不能再糟了)   2016-12-08 19:56:00
我指的是完全相同的檔案,只是檔案名稱敘述不同。檔案大小不一樣就不檢查內容
作者: eight0 (欸XD)   2016-12-09 03:09:00
我 google 到了很多類似的工具,不過都在 linux 底下現在我用這個 https://github.com/mixu/file-dedupe
作者: rick65134   2016-12-12 12:58:00
這種用途不錯 不過還真沒在windows下看過這種軟體...linux的話 感覺搭配head指令兜一兜就出來了

Links booklink

Contact Us: admin [ a t ] ucptt.com