Os desenvolvedores do VirtualBox basicamente jogaram suas mãos sobre o 3D Acceleration em relação aos convidados do X11, como dito neste post há mais de 2 anos: link
Existem dezenas de tickets criados no site do VirtualBox, e todos eles foram ignorados. Abundância de posts no fórum também. A mesma resposta foi dada todas as vezes, a mais recente que eu posso encontrar postada 3 semanas atrás por um dos desenvolvedores (michael):
I am afraid that there is currently no one on the team with enough free time to investigate this (and no sign that it will change in the foreseeable future). It should be something which interested users with skills in OpenGL programming in C should be able to track down and fix. Questions (technical ones) or patches welcome on the vbox-dev mailing list.
A partir de agora, o consenso atual é que você tem quatro opções:
- Desativar aceleração 3D (mais fácil)
- Use qualquer outro ambiente de área de trabalho além do GNOME x11, como o GNOME Wayland ou o Unity
- Use qualquer um dos outros produtos de virtualização
- Contribua com o projeto VirtualBox você mesmo