xfce4
em si é um meta-pacote que instalará um ambiente de desktop xfce configurado por padrão.
Na maioria dos casos, os arquivos base fornecidos com o xfce4 são: xfconf, xfce4-utils, xfwm4, xfce4-session, thunar, xfdesktop4, exo-utils
Então você pode fazer
sudo apt-get purge xfconf xfce4-utils xfwm4 xfce4-session thunar xfdesktop4 exo-utils xfce4-panel xfce4-terminal
Em seguida, a maioria do pacote associado a esse pacote se torna auto-recuperável para que você possa executar
sudo apt-get autoremove
ou, quase todo o pacote xfce4 depende de libxfce4util-common
. Apenas limpe esse e remova tudo relacionado a xfce