Suponho que você esteja falando sobre a configuração svga.vramSize = 134348800
documentada aqui , certo?
De acordo com alguns outros fóruns que eu vi, você pode ter que configurá-lo para um valor que é um múltiplo de 65536.
Assim, 128 MB seria svga.vramSize = 134348800
e 1 GB seria svga.vramSize = 1073741824
.