Alterar codificação de arquivo de texto sem conhecer a codificação de origem

Question

Eu quero mudar a codificação do conjunto de caracteres para um arquivo no unix com um único comando, mas como esse será um processo automatizado, é impossível que eu saiba a codificação de origem.

Então, eu quero um comando que altere a codificação para UTF-8 para qualquer codificação de origem.

    

Answer 1

Você pode usar iconv ou recode para converter o arquivo. Mas você precisará especificar a codificação de origem.

A informação sobre a codificação de origem tem que vir de algum lugar. Um arquivo de texto simples não contém informações sobre sua codificação. Alguns tipos de texto formatado contêm uma indicação (por exemplo, cabeçalhos em HTML ou em LaTeX), mas, em geral, você está sozinho. Cabe ao ambiente saber qual codificação ele usa para o arquivo de texto.

Você pode tentar adivinhar a codificação de origem. Isso só tem uma chance de funcionar se você tiver algumas informações sobre o arquivo - você sabe em que idioma está (por exemplo, você sabe que está em polonês ou inglês) ou há apenas um pequeno número de codificações em potencial (por exemplo, é UTF-8 ou Latin-1). Veja Como posso testar a codificação de um arquivo de texto ... É válido e o que é? e Como eu recodifico um arquivo de texto codificado misto para algumas possibilidades, incluindo Enca e Perl Encode :: Adivinha . Você precisará trabalhar com base em seu conjunto de dados para saber se uma dessas ferramentas pode funcionar para você.