Remova / desinstale o open-vm-tools e execute este comando no seu Ubuntu:
sudo apt-get install build-essential linux-headers-'uname -r' dkms
Agora instale o open-vm-tools e reinicie-o. ele deve corrigir seu problema
Atualização:
Eu finalmente encontrei a solução. O problema só existe quando as ferramentas da VM são atualizadas (pelo menos por mim) você precisa "acionar" a tela depois de atualizar as ferramentas VBoxLinuxAdditions ou VmWare ... este comando deve resolver o problema:
xrandr --auto
você pode receber esta mensagem se não a tiver instalado:
The program 'xrandr' is currently not installed. You can install it by typing:
sudo apt-get install x11-xserver-utils
Em seguida, instale-o com o comando e você deverá obter a resolução em tela cheia novamente. O meu foi disparado imediatamente depois que instalei x11-xserver-utils.