Isso geralmente é causado pela opção de Aceleração 3D.
- Abra o VirtualBox
- Abra as "Configurações" para sua VM do Ubuntu
- Clique em "Exibir" no lado esquerdo
- Remova a seleção de "Ativar aceleração 3D" (conforme visto na imagem abaixo)
Reinicie a VM. Isso deve corrigir o problema. Caso contrário, talvez seja necessário reinstalar o Ubuntu na VM novamente.