Como apagar os números repetidos em uma coluna em um arquivo?

Question

Eu tenho um arquivo parecido com:

entrada:

34
34
34
43
54
54
10001
10001
10001
10001
100005
100005
500000

Então eu preciso que cada número apareça apenas uma vez:

Fora:

34
43
54
10001
100005
500000

alguma sugestão considerando que o arquivo real é enorme com muitas repetições?

    

Answer 1

Aqui você está:

$ uniq inputFile > outputFile

Mas observe uniq apenas remove as linhas repetitivas que vêm uma após a outra e sequencialmente. Então, se você quiser excluir todas as linhas repetitivas, mesmo aquelas que não vêm em seqüência, você pode primeiro sort do seu arquivo de entrada e o uso uniq :

$ sort -g inputFile | uniq > outputFile

A opção

-g será comparada de acordo com o valor numérico geral.

Ou use apenas sort -nu inputFile > outputFile

    

Answer 2

Você precisa classificar se deseja remover duplicatas que ainda não estão em linhas consecutivas, como:

cat FILE1 | sort -nu > FILE2

sort -n significa classificação numérica e -u remove linhas duplicadas consecutivas (como o comando autônomo uniq faz em arquivos / dados classificados).