A estação estava funcionando muito bem até ontem, quando estendi o tamanho do HD. Eu não acho que isso esteja relacionado. Eu tentei desinstalar o vm-tool e reinstalá-lo novamente e verifiquei os serviços que estão trabalhando. Ainda não consigo chegar à resolução completa e estou recebendo essa mensagem toda vez que eu executo a máquina.
"a máquina virtual não pôde ser alterada para o monitor selecionado layout. "
Este é exatamente o seu problema: ampliou o tamanho do HD! Houve o mesmo problema no meu debian 8.7. Depois de redimensionar meu HD com o GParted, recebo a mensagem de erro do VMware. Tentei reinstalar as ferramentas open-vm-tools e VMware, mas ainda com o mesmo erro após o login no KDE e em outras GUIs.
Então eu instalei o open-vm-tools em um snapshot sem o HD redimensionado e agora ele funciona bem.
Depois de ampliar o tamanho do HD com o GParted, o mesmo aparece na minha máquina virtual convidada do Debian. No vmware.log tem:
TOOLS Resolution_Set failed: failure of the transport layer
Mas isso funciona para mim:
Abra seu .vmx com o editor de texto e remova todas as entradas svga. *.
Altere o vmotion.checkpointFBSize para "33554432" (meu tamanho era o mesmo)
Fonte: link