O 3D no VBox não é suficiente para executar o Unity 3D.
A maioria das caixas virtuais tem suporte muito pobre para 3D, pelo menos os aspectos mais avançados, como transparência e similares. Eu uso o VMWare Workstation e não tem problemas. Eu nunca consegui fazer o 3D do VBox funcionar suficientemente para rodar um jogo simples como o Minecraft.