Parece que você deseja remover Xfce . Execute o seguinte comando no terminal:
sudo apt-get remove --purge xfce4-utils
A opção purge faz com que apt remova não apenas um pacote, mas também as configurações salvas.
Experimente também (mas sem purge ):
sudo apt-get remove xfce
Veja esta pergunta Por que remover o pacote xfce4 não remove o ambiente de área de trabalho XFCE? para obter mais detalhes sobre como fazer isso.