Dentro do convidado, instale o pacote virtualbox-ose-guest-x11
e reinicie a VM; isso pode resolver o problema. X no convidado precisa estar ciente dos drivers do VirtualBox e, tanto quanto eu sei, este é o caminho a percorrer sobre isso. As versões 2.2 e acima devem tornar essa funcionalidade perfeita, mas é possível que haja alguns bugs.
Além disso, certifique-se de ter alocado bastante memória de vídeo nas configurações da VM. Eu dei uma chance agora com 128 MB de VRAM (o que pode ser excessivo) e funcionou bem depois de instalar o pacote -x11 que mencionei. Comece alto se puder e abaixe-o se precisar até que ele pare de funcionar.