Se você quiser que o Unity do Ubuntu tenha ido bem, e tenha certeza absoluta de que deseja o Xfuntu do Xubuntu, a melhor coisa que você pode fazer é apagar o Ubuntu 14 e substituí-lo por sua preferência (Xubuntu).
Eu tentei instalar o xubuntu-desktop no Ubuntu. Funciona bem, mas NÃO é otimizado para o Ubuntu. Você deve estar ciente de que cada sabor do Ubuntu (Xubuntu, Lubuntu, UbuntuMATE, Cubuntu, Kubuntu, etc) é otimizado para seu ambiente de desktop padrão (aka D.E.) e NÃO para qualquer outro D.E. Simplesmente instalando um diferente D.E. em qualquer sabor não otimizará automaticamente para isso.
A experiência do usuário não é a mesma: diferentes papéis de parede, estilos de janelas, cursores, temas, etc. Eu não estou falando sobre dois diferentes D.E., eu estou falando sobre o mesmo D.E. em duas situações: tweaked (= melhor) D.E.- pré-instalado e otimizado para seu 'sabor' e padrão D.E. - instalado a partir de repositórios (pelo apt-get install).
Existem problemas de desempenho também: ajustes de kernel não compatíveis com o D.E vão diminuir a velocidade, versões erradas ou erradas de bibliotecas, etc