Eu tentei descer a mesma rota, mas descobri que, mesmo ao definir o valor que você modificou, ele seria redefinido automaticamente:
defaults read /Library/Preferences/com.apple.windowserver.plist DisplayResolutionEnabled
1
Depois de pesquisar na internet, me deparei com essa linha (desabilitando o auto-HiDPI para VMware):
defaults write ~/Library/Preferences/com.vmware.tools.plist enableAutoHiDPI -bool false
Não funcionou imediatamente, mas depois de uma reinicialização consegui definir a resolução sem alterar automaticamente para HiDPI:
cd /Library/Application Support/VMware Tools
./vmware-resolutionSet 1920 1080
Espero que funcione da mesma maneira sem você desinstalar as ferramentas VMware.