O Ubuntu e o Xubuntu compartilham os mesmos repositórios, portanto, não importa qual ambiente de desktop você tenha instalado, ele será atualizado para a próxima versão.
Se a atualização for bem depois de fazer:
sudo do-release-upgrade
Você ainda terá seu Xubuntu, ou o mesmo, seu Ubuntu com o desktop xfce.