Este é aparentemente um limite rígido embutido no VirtualBox. Não tentei fazer isso sozinho, mas alguém em esta discussão reportou ter levantado o vídeo acima 256 MB editando o arquivo de configuração da VM e tendo recebido uma mensagem de erro e falha ao inicializar a VM.
Esse mesmo segmento se aventura em alguma especulação sobre por que esse limite existe. Parece uma questão razoável, dado que CPUs modernas provavelmente são capazes de lidar com emulação de GPU para programas mais antigos que precisam de > 256MB de ram de vídeo. Além disso, dado que o suporte 3D passa boa parte do trabalho para a placa de vídeo real, pode ser possível executar programas mais recentes que exigem > 256MB de VRAM no VirtualBox.
Alguns comentadores nesse tópico acharam que havia uma quantidade significativa de complexidade envolvida na codificação dessa alteração (o suficiente para espantar aqueles que desejavam hackear as alterações) e que os recursos ausentes na placa de vídeo emulada evitariam muitos desses programas. funcionando mesmo com uma quantidade maior de VRAM emulado.