certifique-se de que todas as linhas em um arquivo de texto não tenham o mesmo valor

Question

Eu tenho um arquivo de texto que contém várias linhas. Algumas das linhas contêm o mesmo valor. O que eu quero é garantir que todas as linhas não tenham duplicatas ou "triplicatas".

Amostra:

2014-11-21
2013-10-19
2013-06-09
2014-11-21
2014-11-21
2015-02-19
2012-08-12
2015-07-22
2013-06-09

Saída:

 2014-11-21
 2013-10-19
 2013-06-09
 2015-02-19
 2012-08-12
 2015-07-22

Eu tentei uniq , mas remove completamente todas as linhas com duplicatas. O que eu queria é manter um.

    

Answer 1

Com sort (também classificará a saída):

sort -u file

Com awk (não é ordenado, apenas filtre as duplicatas, como a saída desejada):

awk '!a[$0]++' file

Com perl (mesmo princípio que o awk one):

perl -ne 'print unless $a{$_}++' file