remove todas as duplicatas de um arquivo de texto sem ordenar [duplicado]

Question

simplesmente, eu tenho um arquivo com linhas de texto que são desconhecidas para mim, algo como

abaa
dddd
bbbb
cccc
abaa
aaaa
abaa

o resultado que eu gostaria de obter é

dddd
bbbb
cccc
aaaa

onde todas as duplicatas são completamente removidas. Se uma linha de texto for duplicada em qualquer outro lugar, remova essa linha e quaisquer repetições a seguir. isso é possível? todas as minhas pesquisas mostram a saída com duplicatas removidas, deixando uma instância, que eu gostaria de remover.

    

Answer 1

essa abordagem leva 2 passagens pelo arquivo: uma para contar o número de vezes que cada linha ocorre, uma para imprimir as linhas que aparecem apenas uma vez:

awk 'NR == FNR {count[$0]++; next}; count[$0] == 1' file file