Eu não acredito que o VMware Player suporte o OpenGL 3D para Linux ainda. O suporte para Linux pode vir em versões futuras [provavelmente a próxima]. Compiz definitivamente não funcionará.
Somente as janelas do Directx são executadas em aceleração máxima. Compiz-windows-clones [assim chamados] funcionam perfeitamente.