Você precisa entrar nas configurações de exibição da sua VM e ativar a aceleração 3D para sua VM. Esse recurso ainda está marcado como experimental (é por isso que ele não está habilitado por padrão), portanto, convém evitá-lo se sua VM estiver fazendo algo realmente importante. Se você tiver todas as adições de convidados instaladas, tudo deve funcionar a partir daí. Como Alex Jones apontou, "aceleração de vídeo 2D" não é compatível com VMs Linux, mas acho que é um recurso menos importante do que parece. De acordo com o link :
With this feature, if an application (e.g. a video player) inside your Windows VM uses 2D video overlays to play a movie clip, then VirtualBox will attempt to use your host's video acceleration hardware instead of performing overlay stretching and color conversion in software (which would be slow).
Não parece que isso esteja relacionado aos seus efeitos normais de área de trabalho. My Arch e Ubuntu VMs parecem ter um bom desempenho de desktop com apenas o suporte 3D.