Se você tiver algum tipo de ambiente unix disponível (se você estiver no Windows, eu sugiro Cygwin ) você pode facilmente encontrar duplicatas arquivos abaixo do diretório atual com algo parecido com isto:
find . -type f -exec md5sum '{}' '+' | sort | uniq -D -w 32
A saída será md5sum e o nome de todos os arquivos que tiverem pelo menos uma duplicata (o mesmo md5sum). As duplicatas aparecem uma após a outra em ordem alfabética. Troque o .
após find
pelo caminho que você deseja procurar se não for o diretório atual.
Editar:
Por outro lado, para obter os arquivos que não têm duplicatas, você pode usar
find . -type f -exec md5sum '{}' '+' | sort | uniq -u -w 32
Isso só imprimirá arquivos sem qualquer duplicata abaixo do diretório atual.