Eu tenho um monte de arquivos (4800 arquivos), que acredito conter muitos duplicados e triplos. O problema é que eles também não têm os mesmos nomes. Eu já eliminei os fáceis com os mesmos nomes. Os arquivos estão todos em uma faixa de tamanho, então isso não é útil.
Pensei que talvez fosse possível executar um script para verificar os hashes de todos os arquivos em um diretório e relatar hashes duplicados. Alguém sabe como conseguir isso?
Pode ser feito no Linux e no Windows.
Obrigado
Aqui está um comando do Powershell que fará o hash de todos os seus arquivos (em um determinado diretório) e gerará o resultado em um arquivo CSV.
Get-FileHash -Algorithm MD5 -Path (Get-ChildItem "\Path\to\files\*.*" -Recurse) | Export-Csv C:\Temp\hashes.csv
Depois disso, você pode abrir o arquivo CSV no Excel e extrair as duplicatas.
Observe que o cmdlet "Get-FileHash" só está disponível no Powershell versão 4 ou superior.
Tags deduplication hashing