O pacote ubuntu-desktop é um meta package que significa que ele não faz nada sozinho, mas apenas solicita outros pacotes dependendo deles. Quando você instala o ubuntu-desktop, ele precisará instalar todos os pacotes dos quais depende, ou o pacote meta não pode ser instalado. Se você remover o ubuntu-desktop, no entanto, somente o pacote meta será removido, não o software que ele trouxe.
Por exemplo, se você tem o Ubuntu instalado e deseja instalar o Xubuntu, você terá que desinstalar o ubuntu-desktop primeiro. Isso porque os sistemas de notificação são diferentes. Se você olhar de perto, verá que há um conflito entre o libnotify-osd, que é usado no Ubuntu e o xfce4-notifyd, que é usado no XFCE. Nenhuma delas é essencial, portanto, você pode ignorar com segurança o aviso de que o ubuntu-desktop precisa ser removido.
Eu percebo que você não pediu pelo XFCE. Mas o ponto é que você precisa saber porque