Eu não posso dizer com certeza no VMware, mas ao usar o kvm, diminuir a memória de uma máquina virtual em execução funciona bem. Claro até um limite, mas o software lhe dirá. Quando você diminuir, a memória na máquina virtual será gradualmente diminuída, até que ela não possa mais ser abaixada. Se você definir a memória para ser menor do que onde parou, será necessário reinicializar a máquina virtual para que ela seja totalmente desativada.
Eu fiz recentemente isso em um sistema rodando o kvm com cerca de 20 máquinas virtuais, onde alguém achou mais sensato comprometer a memória, fazendo com que algumas máquinas virtuais rodassem em swap (doh!). Para consertá-lo, reduzi a memória em cerca de 20-40% de 2/3 das máquinas virtuais e a maioria conseguiu abaixá-la completamente durante a execução. Alguns precisaram de uma reinicialização para que a nova configuração de memória tenha efeito completamente.
Indo a partir disso, eu diria que uma máquina virtual vmware também poderia permitir esse comportamento. No entanto, um teste rápido no vmware player me diz que ele precisará de uma reinicialização para entrar em vigor (o software vmware mais sofisticado pode se comportar melhor). Caso contrário, é seguro fazê-lo em um sistema em execução. É claro que a quantidade de memória que resta é suficiente para executá-lo corretamente é outra questão.