A área de trabalho do KDE usa muitos efeitos (transparência, brilho, desfocagem, etc.). Você deve ser capaz de acelerar o login desativando a tela inicial de login, bem como o efeito extra em "Efeitos da área de trabalho" > 'All Effects', serviços extras em 'Startup and Shutdown' > 'Seervice Manager' e reduzindo o uso de recursos em 'Application Apperance' > 'Estilo' > 'Ajuste fino'.
Esta página no wiki do Ubuntu pode ajudar, o que sugere a instalação das atualizações mais recentes e a desativação dos efeitos.
Como sugere o @ bodhiz.zazen, usando uma interface como webmin pode ser melhor para a execução de um servidor. Outro ambiente mais leve (sem efeitos desnecessários) como Xfce ou O LXDE também pode funcionar mais rápido.