É impossível dizer ao Xubuntu a partir do Ubuntu, porque eles são da mesma distribuição. O Xubuntu e o Ubuntu são dois instaladores diferentes que configuram diferentes ambientes de desktop, mas após a instalação inicial, o administrador pode instalar ambientes de desktop adicionais. Os usuários podem executar o XFCE após uma instalação inicial do Ubuntu ou Unity após uma instalação inicial do XFCE.
Se você quiser configurar algumas coisas de maneira diferente, dependendo do ambiente da área de trabalho, essa é uma configuração por usuário, não uma configuração global. Como os usuários podem executar ambientes de área de trabalho diferentes em momentos diferentes, você deve se preparar para ambos (e para o KDE e para twm, etc.).