Eu não tenho essa configuração ainda, mas eu não acho que você precisa instalar o gdm. Você deve ser capaz de instalar o gnome, xfce, kde ou qualquer outro ambiente de desktop sem o gerenciador de desktop que vem com ele. Você pode iniciar manualmente a sessão da área de trabalho depois de alternar para a tty8 ou escrever um script para carregá-la automaticamente.
Suponho que você já tenha visto esta pergunta sobre a instalação do XBMC no ubuntu . Embora não seja exatamente o caminho que você deseja seguir, ele mostra que o XBMC e o gnome podem coexistir perfeitamente bem.