Após mais pesquisas e experimentos com /etc/environment , percebo que a autorização do PAM pode ter algo a ver com isso.
Eu tinha a linha UsePAM no no meu /etc/ssh/sshd_config .
Reverta de volta ao padrão que é UsePam yes e o Ubuntu começa a recuperar as alterações em /etc/default/locale e /etc/environment novamente.
Então, as configurações em /etc/default/locale realmente funcionaram.