Eu criei um arquivo txt usando dois pedidos, um LDAP e um SQL. Os resultados das duas solicitações são armazenados no mesmo arquivo txt.
O arquivo txt se parece com isto:
[email protected]
[email protected]
[email protected]
[email protected]
[email protected]
Como um usuário pode estar nos dois bancos de dados, preciso excluir entradas duplicadas, usando o bash.
Como posso fazer isso?
Se você não se importar em terminar o arquivo, classifique-o e filtre-o; ou
sort -u file
se o seu sort suportar, ou
sort file | uniq
se não, e você terá na saída padrão a lista classificada de endereços de e-mail exclusivos.
Se você quiser manter os endereços no pedido original, use awk :
awk '!(count[$0]++)' file
Tags bash text-processing linux