Como apagar duplicatas de arquivos no diretório e subdiretórios?

Question

Existe algum método rápido para excluir duplicatas de arquivos com base em qualquer soma de hash (ou seja, SHA1 para ser rápido). Porque eu tenho uma bagunça em meus arquivos de música.

    

Answer 1

Existe o pacote fdupes no linux (por exemplo, ele está presente no repositório debian). Ele usa md5sums e, em seguida, uma comparação byte a byte para localizar arquivos duplicados em um conjunto de diretórios. Ele também pode excluir dups com a opção -d, mas nunca usei essa opção. Também você pode grep ou sed de arquivos de saída para excluir e removê-los do disco.

    

Answer 2

Você encontrará este pipeline de utilitários de texto unix / linux muito útil. Este comando primeiro compara o tamanho dos arquivos e se o tamanho é o mesmo, então só compara o hash.

OR

Você pode usar o utilitário fdupes para identificar arquivos duplicados.

Ambas as soluções usam md5 hash

    

Answer 3

O

liten2 link funciona também no mac osx!
É um script python com alguns recursos muito úteis, como corridas secas, deleção interativa e muito mais ...
E é muito rápido.