Sim, o idioma deve ser definido durante a instalação, mas pode ser alterado a qualquer momento no sistema instalado.
O idioma do sistema é definido em Configurações do sistema > Língua... . O Ubuntu pega o primeiro da lista. O suporte para idiomas adicionais (e a respectiva fonte quando necessário) pode ser adicionado sem alterar o idioma padrão. Instale quantos você precisar / quiser.