Se você quiser remover pacotes de idiomas dispensáveis da sua instalação, basta digitar:
sudo apt-get install localepurge
Agora você vê uma interface debconf que pede para você selecionar todos os idiomas que deseja manter.
Isso pode demorar um pouco, mas é a solução mais fácil para iniciantes.