Como lidar com qualquer codificação de texto durante o processamento de operações de texto?

0

Estou tendo uma saída terrível no gedit: veja a imagem abaixo:

Onde, quando tentei abrir no terminal de comando, consegui ver a saída:

aims@aims:~/Downloads/worldwide 3/output$ head -n5 My10.txt 

 990.net
 aol.com
 dataone.in.
 mail.hf.ah.cn.

Eu não entendo porque esta diferença na saída no Ubuntu 16.04.
Se eu quiser processar o texto no Ubuntu, como posso me livrar da codificação?
Estou farto de converter um arquivo de texto para outra codificação. Existe alguma solução que irá automaticamente detectar e converter o arquivo em formato legível? Eu não quero verificar a codificação do arquivo toda vez e depois converter para o legível. Eu quero que isso aconteça automaticamente. Se a codificação não estiver disponível, ela deverá ser baixada.
Existe alguma solução no Ubuntu para converter o arquivo automaticamente, para que eu possa processar nesses arquivos?
Gentilmente me ajude.

    
por Jaffer Wilson 03.02.2017 / 15:59

0 respostas