fdupes — программа, сканирующая каталоги для поиска дубликатов файлов, с возможностью вывода списка и автоматическим удалением дублей. Она сравнивает размер файла и MD5 хэш, и после сравнения начинает сверку по-байтно.

В репозитарии debian есть, ставим:

apt-get install fdupes

Использование утилиты элементарно:

fdupes ./

Будет произведен поиск дублей в текущем каталоге и выведен список дубликатов

fdupes -d -N ./

Этой командой производится поиск и удаление (ключ -d) дубликатов без дополнительних подтверждений на удаление (ключ -N) в текущей директории. Если необходим рекурсивный поиск (т.е. поиск и во вложенных каталогах) добавляется ключ -r .

Результат работы программы:

[+] ./ЗагрузкиЗаявки2012-10-24 16-55.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 1.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 2.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 3.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 4.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 5.xls
[-] ./ЗагрузкиЗаявки2012-10-24 16-55 6.xls
 
Т.е. плюсом отмечен оставленный файл, минусом обозначены удаленные файлы.

May 28, 2013