Com sort
(também classificará a saída):
sort -u file
Com awk
(não é ordenado, apenas filtre as duplicatas, como a saída desejada):
awk '!a[$0]++' file
Com perl
(mesmo princípio que o awk
one):
perl -ne 'print unless $a{$_}++' file