Inicialize no modo de recuperação e, se isso não funcionar, em um LiveCD. Em seguida, edite o arquivo, deve haver algo como
LANG="en_US.UTF-8"
(dependendo da sua localidade). Use sudo nano /etc/default/locale
em Recuperação ou gksudo /media/ubuntu/etc/default/locale
no LiveCD (altere / media / ubuntu / apropriadamente dependendo de onde você montou a partição Ubuntu).