Eu tenho um arquivo simples de 200 GB (uma palavra por linha) e quero classificar o arquivo, depois remover as duplicatas e criar um arquivo TXT final limpo a partir dele.
Eu tentei sort com --parallel , mas ele durou 3 dias e fiquei frustrado e matei o processo, pois não vi nenhuma alteração no fragmento de arquivos que ele criou em / tmp.
Eu preciso ver o progresso de alguma forma e ter certeza de que ele não está travado e funcionando. Qual é a melhor maneira de fazer isso? Existe alguma ferramenta Linux ou projeto de código aberto dedicado a algo assim?
Tags sort linux multi-threading