Você só pode fazer isso se a sua placa de vídeo suportar, o que em quase todos os casos não.
A maioria das placas de vídeo é projetada apenas para lidar com um sistema operacional conversando com elas de cada vez. Assim, você pode fornecer o cartão ao sistema operacional host (e somente o SO do host pode usá-lo). Ou você pode (com o auxílio de um IOMMU) fornecer toda a placa gráfica exclusivamente para uma única VM, e então essa VM pode usá-la, mas o sistema operacional host não pode e nem pode qualquer outra VM. Se você pudesse de alguma forma tentar dar o cartão para várias VMs de uma só vez, nem funcionaria corretamente, porque os sistemas operacionais convidados estariam tentando falar com o cartão de uma só vez. Do ponto de vista de um único sistema operacional convidado, seria como se a placa gráfica estivesse continuamente fazendo coisas misteriosas que você não pediu.
A exceção a tudo isso é se a placa de vídeo suporta explicitamente a virtualização de hardware, para que possa apresentar várias visões diferentes de si mesma para cada VM, e cada VM acha que está vendo uma placa gráfica completa própria. Por exemplo, este comunicado de imprensa da AMD descreve um conjunto de placas gráficas que possuem esse recurso e podem apresentar aceleração de GPU para várias VMs de uma só vez.