Para grandes mudanças, você pode querer usar tasksel - uma ferramenta que gerencia as funções de alto nível da sua máquina. Primeiro instale:
sudo apt-get install tasksel
Depois, você pode ver quais tarefas estão disponíveis e seu status atual:
sudo tasksel --list-tasks
Para remover os pacotes da área de trabalho, você precisará executar comandos, não através da área de trabalho. Então, se você pudesse ssh de outro computador. Ou, se estiver na frente do computador, você poderá obter um terminal que não seja de desktop pressionando Ctrl-Alt-F1. Então você pode fazer:
sudo tasksel remove ubuntu-desktop kubuntu-desktop
Se você já configurou seu servidor (servidor da web, etc), está pronto - e parece que está. Mas para outros que podem não ser, ou se você quiser adicionar coisas extras, você ainda pode adicionar outros serviços usando o tasksel. Então você pode escolher fazer:
sudo tasksel install server openssh-server lamp-server
O que garantiria que você pudesse entrar via ssh e instalar o servidor web Apache, o servidor de banco de dados MySQl e o PHP.
Se você quiser mais informações sobre os pacotes exatos que você pode fazer:
tasksel --task-packages server
que lhe daria uma lista de pacotes que a tarefa do servidor irá instalar.