Depois de jogar com mais algumas VMs, rastreei o problema até a adição do VMware
svga.guestBackedPrimaryAware = "TRUE"
para o arquivo VMX, que indica que o VMware sabe que a VM possui ferramentas VMware instaladas. Parece que quando esse sinalizador é definido, o VMware não expõe resoluções mais altas via VBE, portanto, o GRUB não pode usar resoluções mais altas. Remover essa linha do arquivo VMX resolve o problema de uma inicialização, mas a VMware a adiciona quando a máquina é desligada.
Esse comportamento não ocorre se a versão do hardware for 10, mas ocorre em 11 ou 12. Para corrigir o problema permanentemente, remova a linha svga.guestBackedPrimaryAware = "TRUE"
do arquivo VMX e altere a linha virtualHW.version = "11"
ou virtualHW.version = "12"
para virtualHW.version = "10"
.