Você pode definir a localidade manualmente usando update-locale :
sudo update-locale LANG=de_DE.UTF-8 LC_MESSAGES=POSIX
Leia a man page para mais informações.
Como alternativa, você pode alterar manualmente as entradas de localidade do seu sistema modificando o arquivo /etc/default/locale .
Por exemplo, em um sistema alemão, para evitar que mensagens do sistema sejam traduzidas, você pode usar:
LANG=de_DE.UTF-8
LC_MESSAGES=POSIX
Observação: as alterações são efetivadas somente após um login recente.
Fonte: link