Estou executando o Xubuntu 11.10 e trabalhei em torno do problema da seguinte maneira:
1) Unidade instalada
sudo apt-get instala o ubuntu-desktop
2) Passou para o Unity, configurou meus monitores e aplicou as configurações.
3) Reinicie a partir do Unity (não saia), então faça o login usando uma sessão Xubuntu / XFCE após a reinicialização.
Eu tive que fazer este passo duas vezes antes que ele ficasse no XFCE. Não sei bem por que, mas tenho medo de continuar com isso.
4) Unidade removida (opcional)
sudo apt-get purge ubuntu-desktop
sudo apt-get autoremove
Se alguém souber uma abordagem mais confiável para a etapa três, adoraria ouvi-la.