Você provavelmente está definindo essa localidade em algum lugar no ~/.bashrc
ou /etc/environment
ou /etc/profle
ou em um arquivo em /etc/profile.d
. Dependendo da distribuição, a maneira como o $LANGUAGE
é definido pode ser diferente.
Tente encontrar o arquivo em que seu idioma está definido:
grep zh_CN /etc/* /etc/profile.d/* /etc/bash/* ~/.*
se um desses arquivos contiver a configuração, o grep deverá mostrar a você