Ok, funciona agora. Preciso desligar o VBoxVmService para que a mudança funcione. Eu sempre desliguei (desligado) a própria VM, mas o VBoxVmService deixa o VBoxSVC em execução, o que parece impedir qualquer alteração na configuração da VM. Depois que eu parei o serviço, eu poderia fazer a mudança e atribuir mais memória RAM ao convidado.