Pergunte a si mesmo: como você muda a RAM de um computador real enquanto está em execução?
A resposta é simples: isso simplesmente não é possível, a menos que a placa-mãe a suporte especificamente. Mesmo assim, tem que estar sob uma configuração muito específica, e mesmo assim, o sistema operacional pode não reconhecê-lo até que o sistema seja reiniciado.
Você deve desligar completamente sua máquina virtual ou pode transferi-la junto com o estado salvo para um computador (a LAN é a maneira mais rápida de fazer isso) com RAM suficiente para inicializar a VM e desligá-la normalmente.