Se você estiver usando o Ubuntu 12.04, houve um erro com suporte a idiomas incompletos. Tente executar check-language-support -l en no seu terminal (substitua en pela sua localidade ativa atual). Ele listará todos os pacotes de idiomas ausentes para essa localidade. Instale esses pacotes usando sudo apt-get install (você pode copiar a lista da saída do comando anterior) e reinicie o sistema para verificar se a tela "Escolher idioma" desapareceu.