Você poderia tentar
chardet <<<filename
O programa chardet
pode tentar adivinhar a codificação do fluxo em stdin, e <<<
é a média pela qual bash
usa uma string como stdin, o mesmo que
echo filename | chardet
Para todo o conteúdo do diretório, você pode usar
ls dir | chardet
EDITAR
Esqueci o conteúdo, mas é quase o mesmo:
chardet <filename
ou
cat filename | chardet
ou para todos os arquivos no diretório
cat dir/* | chardet