É melhor instalar o Xubuntu. Embora compartilhem a mesma base (Ubuntu), o Xubuntu é mais limpo e você terá apenas os pacotes que você precisa.
Por exemplo:
1 - Instalando o Ubuntu e, em seguida, instalando o XFCE (Xubuntu), você terá muitos pacotes e customizações que não deseja ou precisa.
2 - A instalação do Xubuntu lhe dará uma versão limpa do Xubuntu, o que você precisa.
3 - Há uma equipe dedicada ao Xubuntu que é dedicada a esta distro personalizada e, portanto, você terá um espaço mais dedicado para o DE que você deseja.
Se mais tarde você decidir instalar alguma outra coisa (Gnome, Unity, etc) você ainda pode fazê-lo, porque o Xubuntu é Ubuntu.