Passa um arquivo de texto de Hashes MD5 para o md5deep

Question

Estou usando o md5deep para tentar obter uma lista de hashes md5 de uma lista de arquivos (aproximadamente 100.000 hashes) e Estou comparando-os com a lista de hash NSRL (arquivo de texto de 15gb).

Estou tentando realizar uma coisa:

Produz hashes dos meus 100.000 que não combinam com hasehs na lista de hash NSRL.

Estou tendo problemas para descobrir como passar os 100.000 hashes corretamente. Aqui está o que eu tenho:

md5deep -e -x NSRLFile.txt -c md5.csv

md5.csv é apenas o hash, separado por linhas de interrupção. Não é realmente um csv.

Eu poderia teoricamente cat md5.csv e canalizar cada linha para

md5deep -e -x NSRLFile.txt -a $line

mas eu gostaria de evitar isso, se eu puder usar alguma funcionalidade do programa.

Eu entendo que isso é mais uma questão de "RTFM", mas eu passei pelo manual e ainda não estou vendo como fazer isso.

    

Answer 1

Se eu entendi o formato corretamente, este comando deve dar o resultado desejado:

comm -23 <(cat md5.csv | tr A-F a-f | sort) <(cat NSRLFile.txt | cut -f2 -d, | tr -d '"' | tr A-F a-f | sort)

Isso resultará em hashes que estão no primeiro arquivo, mas não no segundo arquivo. O -2 para o comando comm irá ignorar as linhas que estão apenas no segundo arquivo e -3 irá ignorar essas linhas, que estão apenas no primeiro arquivo.

cat md5.csv | tr A-F a-f | sort converterá todos os hashes em minúsculas e os classificará.

cat NSRLFile.txt | cut -f2 -d, | tr -d '"' | tr A-F a-f | sort terá a segunda coluna do arquivo separada por , , em seguida, removerá todos os caracteres " , converterá todos os hashes em minúsculas e os classificará.