Você poderia tentar
chardet <<<filename
O programa chardet pode tentar adivinhar a codificação do fluxo em stdin, e <<< é a média pela qual bash usa uma string como stdin, o mesmo que
echo filename | chardet
Para todo o conteúdo do diretório, você pode usar
ls dir | chardet
EDITAR
Esqueci o conteúdo, mas é quase o mesmo:
chardet <filename
ou
cat filename | chardet
ou para todos os arquivos no diretório
cat dir/* | chardet