Você provavelmente está definindo essa localidade em algum lugar no ~/.bashrc ou /etc/environment ou /etc/profle ou em um arquivo em /etc/profile.d . Dependendo da distribuição, a maneira como o $LANGUAGE é definido pode ser diferente.
Tente encontrar o arquivo em que seu idioma está definido:
grep zh_CN /etc/* /etc/profile.d/* /etc/bash/* ~/.*
se um desses arquivos contiver a configuração, o grep deverá mostrar a você