Se você instalou os meta-pacotes, como xfce4 , você deve usar sudo apt-get autoremove
após remover xfce4 . Remover apenas o pacote meta não remove os pacotes que os acompanham.
Por exemplo, a sessão xfce vem com o pacote xfce4-session , e não com o xfce4 . Remover xfce4 apenas não remova xfce4-session . Então, depois de remover xfce4 , você tem que usar sudo apt-get autoremove
para remover o xfce4-session corretamente.