Minha opinião, a melhor maneira de fazer isso é instalar a partir da mídia xubuntu em vez da mídia mainline do ubuntu e instalar o pacote xubuntu-desktop. Na minha experiência, remover os pacotes dos quais você está falando leva a cadeias de dependências quebradas ou bugs estranhos quando você tenta fazer com que algum outro aplicativo / widget funcione. Você certamente pode fazer isso, mas eu não sou fã disso.