Parece que você está tendo um conflito com essa GPU no host, já que o sistema operacional host não está permitindo ou não está configurado para transmitir todos os recursos da GPU para a VM, verifique suas configurações de exibição para essa VM na ferramenta do gerenciador do VMware.