O 3D Acceleration é "experimental" no VB e pode não ser suportado corretamente. Também qual versão do Virtual Box você está usando. A versão Open Source não parece suportar todas as funções da que foi baixada do site.
Eu não gosto de sugerir fonte fechada, mas sua situação pode exigir isso.
Também vou tentar executar sudo apt-get install gnome-shell
na minha máquina 11.10 e ver como é. Ainda há a possibilidade de que não seja VB.