Você pode alterar o idioma gerando um arquivo ".i18n" no seu diretório HOME. Use um editor de texto para isso com o seguinte conteúdo:
export LANGUAGE=en_US.utf8
export LANG=en_US.utf8
export LC_ALL=en_US.utf8
... ou simplesmente execute este comando em um terminal que também gera o arquivo:
echo "export LANGUAGE=en_US.utf8
export LANG=en_US.utf8
export LC_ALL=en_US.utf8" > $HOME/.i18n
Em seguida, faça logout e login.