Para imprimir cada linha idêntica apenas uma, em qualquer ordem:
sort -u
Para imprimir apenas as linhas exclusivas, em qualquer ordem:
sort | uniq -u
Para imprimir cada linha idêntica apenas uma vez, na ordem de sua primeira ocorrência: (para cada linha, imprima a linha se ainda não foi vista e, em qualquer caso, incremente o contador visto)
awk '!seen[$0] {print}
{++seen[$0]}'
Para imprimir somente as linhas exclusivas, na ordem de sua primeira ocorrência: (registre cada linha em seen
, e também em lines
se for a primeira ocorrência; no final da entrada, imprima as linhas em ordem de ocorrência, mas apenas as vistas apenas uma vez)
awk '!seen[$0]++ {lines[i++]=$0}
END {for (i in lines) if (seen[lines[i]]==1) print lines[i]}'