É possível atribuir até 256 MB de RAM ao driver gráfico virtual, como mostrado na minha resposta a essa pergunta:
A memória acima desse valor pode ser útil para aplicativos 3D. Eles usarão o driver de gráficos 3D do host e o VRAM do host, que são passados para o driver de gráficos virtuais, caso a capacidade 3D esteja ativada nas configurações da máquina.
Então você usará toda a RAM de vídeo do seu host para renderização 3D em uma máquina virtual.