Você pode conseguir isso com o sort
e o uniq
utilitários.
exemplo:
[john@awesome ~]$ echo -e "test\ntest\ntest\nanother test\ntest" test test test another test test [john@awesome ~]$ echo -e "test\ntest\ntest\nanother test\ntest" | sort | uniq another test test
dependendo dos dados, você pode querer usar alguns dos switches também.