Eu tive o mesmo problema quando instalei o xfce (minha pergunta pode ser encontrada aqui ).
Meu problema foi resolvido após a desinstalação de todos os pacotes xubuntu *, xfdesktop4 * e xfce4 * (e thunar).
Talvez você deva começar digitando:
aptitude search xfce xfd xubuntu | grep ^i
para ver quais pacotes estão instalados em seu sistema.
Em seguida, prossiga com a desinstalação deles.