Imprimindo linhas exclusivas com uniq, OS X Yosemite

Question

Estou tentando imprimir as entradas exclusivas em uma coluna de um arquivo .csv . Para isso, tentei o seguinte:

awk -F "," '{print $6}' dataCoarse.csv | uniq -u

que apenas imprime a sexta coluna como ela é. Ainda existem entradas duplicadas. Como posso imprimir apenas as linhas exclusivas?

Editar: acho que preciso remover os espaços em branco que precedem ou estão atrás de qualquer caractere em cada linha ou que uniq de alguma forma os desconsidere. Como posso fazer isso?

    

Answer 1

Eu também tive esse problema! Confira esta solução para um problema semelhante. Basicamente, você quer canalizar seu dados para sort primeiro, já que uniq conta apenas instâncias consecutivas de seus dados como duplicadas.

awk -F "," '{print $6}' dataCoarse.csv | sort -u deve fornecer a saída que você está procurando.