Este é um bug com o VMware Tools e o ESX 4. Ele foi corrigido na Atualização 1 do ESX 4.0.
Na base de conhecimento da VMware:
link
O driver XPDM (SVGA) fornecido pelas ferramentas VMware é um driver herdado e não é suportado no ESX 4.0 executando sistemas operacionais convidados Windows 7 e Windows 2008 R2.
Ao usar o Windows 7 ou o Windows 2008 R2 como sistema operacional convidado no ESX 4.0, não use os drivers SVGA incluídos no VMware Tools. Use o driver SVGA padrão.
Outro artigo que faz referência ao problema: link