As VMs, por definição, não podem usar o hardware gráfico real. Está sendo usado pelo host para que o convidado não possa usá-lo também. É assim que funciona. Você pode obter um melhor desempenho instalando as adições do DirectX.
Você precisará instalar o DirectX como um complemento para o VirtualBox para que ele funcione, mas funciona.
Para instalar o DirectX, você precisa inicializar o convidado no modo de segurança. Inicialize sua VM do Windows no modo de segurança e acesse as adições do VBoxGuest. Instale as adições do Direct3D. Tem que ser feito em modo de segurança ou não vai funcionar.