Não há conflitos entre o XFCE e o Unity, e o Nautilus funciona perfeitamente no Xubuntu 12.04 e 12.10.
Se você deseja instalar o XFCE no Ubuntu, instale o xubuntu-desktop (para XFCE + Xubuntu branding + todos os aplicativos padrão do Xubuntu), ou apenas o xfce por si só se você não quiser ter dois conjuntos de aplicativos padrão .
sudo apt-get install xubuntu-desktop
ou
sudo apt-get install xfce4
Além disso - e eu enfatizo que isso é baseado apenas na minha experiência pessoal em um laptop - eu descobri que o Xubuntu inicializa muito mais rápido que o Ubuntu se o Unity está instalado ou não. Com base nessa experiência, eu sempre prefiro instalar o Unity no Xubuntu ao invés do XFCE no Ubuntu, se eu quiser um SO com ambos os ambientes de desktop. Você pode tentar o mesmo da próxima vez que reinstalar o sistema operacional e verificar se percebe alguma melhora no desempenho.