A filosofia Unix é ter ferramentas que façam uma coisa e as façam bem. Nesse caso, grep
é a ferramenta que seleciona texto de um arquivo. Para descobrir se há duplicatas, classifica o texto. Para remover as duplicatas, usa-se a opção -u
para sort
. Assim:
grep These filename | sort -u
sort
tem muitas opções: consulte man sort
. Se você quiser contar duplicatas ou ter um esquema mais complicado para determinar o que é ou não uma duplicata, envie a saída de classificação para uniq
: grep These filename | sort | uniq
e veja man
uniq 'para opções.