Eu sei que você está procurando uma resposta simples e fácil aqui, mas REALMENTE a melhor resposta é fazer o backup de suas pastas e fazer uma nova instalação do servidor. A maioria dos processos redundantes que sobraram da área de trabalho não são necessários, nem os muitos aplicativos que entram na imagem quando você instala "digamos, o KDE-DESKTOP". Toda a biblioteca e arquivos binários que seguem a instalação da área de trabalho entopem o sistema.
O gerenciamento do servidor pode ser feito de várias maneiras que não envolvem uma interface de desktop local. Meus favoritos são fantoches e webmin, mas você pode encontrar aqueles que funcionam para você. EBOX vem à mente e pode ser promissor. Se você achar que não pode viver sem uma GUI de desktop, então leve como o LXDE.
link