Eu não sei o que você quer dizer com "o Servidor parou de funcionar com o Comando apt-get install xubuntu-desktop" o que é muito estranho, mesmo assim xubuntu-desktop instala uma área de trabalho completa xubuntu Seu sistema. Não apenas XFCE .
Se você quer instalar o XFCE apenas e ajustar tudo manualmente, você precisa instalar o Xorg e um gerenciador de exibição, como lightdm por exemplo.
Todos os três podem ser instalados com este comando:
sudo apt-get install xorg lightdm xfce4 .
Isto irá instalar o XFCE básico absoluto em seu sistema sem fontes adicionais ou qualquer tipo de cursores de mouse adicionais, por exemplo. Você terá que instalar e ajustar tudo manualmente depois.