Calculando uma soma de verificação de um arquivo enorme (30 GB)

Question

Eu tenho um enorme conjunto de dados que consiste em vários arquivos, com o tamanho de alguns dos arquivos excedendo 30 GB. Depois de compactar, transferir o conjunto de dados pela rede e descompactar novamente, estou suspeitando que algo deu errado (que um arquivo pode estar corrompido). Uma maneira rápida de confirmar isso seria calcular somas de verificação de ambas as cópias de um arquivo - mas há um limite de 2 GB no tamanho do arquivo para a ferramenta MD5 no Windows PowerShell.

Existe uma alternativa para calcular uma soma de verificação de um arquivo cujo tamanho excede 30 GB? (A ferramenta deve ser implementada para Linux e Windows.)

    

Answer 1

Você pode usar openssl para isso. Está disponível para Windows e Linux.

Em um terminal linux use:

openssl md5 /path/to/your_file

Em uma linha de comando do Windows:

openssl.exe md5 C:\path\to\your_file