Contagem de palavras duplicadas em um arquivo de texto

Question

Eu tenho um arquivo de 20 mb com texto e ids. Eu preciso de um grep ou algo para contar e mostrar quaisquer ids duplicados.

    

Answer 1

awk '{print }' file_name | sort | uniq -c | sort -n | awk '>1 {print }' > duplicates
for x in $(< duplicates); do grep -n $x file;
done

Então, se você tem os ID's na segunda coluna, então ele imprimirá os IDs dos Duplicados

Nota: No nome do arquivo, coloque o nome do arquivo.