Já tentou adicionar mais memória de vídeo virtual à máquina virtual? Eu aumentaria em 128mb. Eu tive um problema parecido.
Estávamos usando um vm-ware esxi-host em nosso servidor local que executa uma instância do windows-server 2012-r2. Controlando remotamente o VNC ou o VMware Remote Console. Queremos definir a resolução do servidor para 1920x1080 porque o VNC e o Console remoto usam a resolução dos servidores, mas a opção não está disponível.
Já tentou adicionar mais memória de vídeo virtual à máquina virtual? Eu aumentaria em 128mb. Eu tive um problema parecido.
O seu adaptador gráfico da VM precisa de mais RAM, como o ag12 mencionou, mas 128 MB é um exagero. A ferramenta de cálculo da RAM do VMware (que está bem nas configurações do adaptador de vídeo no ESXi 5.5+) sugere 8.9mb (o padrão é 4mb em novas VMs).
Tentei 16mb de RAM e foi mais do que suficiente para a resolução de 1920x1080.