O comentário de Seth sobre as sessões remotas do xserver me levou na direção certa. O VirtualBox pode ser iniciado diretamente em sua própria sessão X. No exemplo abaixo, iniciamos uma imagem do Ubuntu 15.04.
Na linha de comando
Crie um arquivo chamado startx_ubuntu1504
(ou o que você quiser chamá-lo) em seu diretório pessoal com estes conteúdos:
virtualbox --startvm Ubuntu_15.04 --fullscreen
Você pode executar startx $HOME/startx_ubuntu1504 -- :1
para iniciar a VM.
Do gerenciador de login
Crie um arquivo chamado /usr/share/xsessions/vm_ubuntu1504.session
com este conteúdo:
[Desktop Entry]
Type=Application
Exec=virtualbox --startvm Ubuntu_15.04 --fullscreen
Name=VM Ubuntu 15.04
Comment=Run VirtualBox image in its own X session
Você deve então poder selecionar a sessão X do seu gerenciador de login. Por exemplo, atualmente estou executando o Xubuntu 2016.10 com o gerenciador de login lightdm, e meu tema de login atual tem uma lista suspensa de sessão próxima ao canto superior direito. Isso me permite selecionar entre qualquer número de máquinas virtuais ou minha área de trabalho não virtual. Muito legal!