Primeiro de tudo, o IOMMU não é o VT-X ou o AMD-V ou o EPT, que são extensões de virtualização de CPU e tecnologia MMU, mas usam CPU.
Para dispositivos DMA avançados, como placa gráfica, sua placa-mãe e CPU devem ter suporte IOMMU - uma tranquilidade de hardware que gerencia a tradução do host para o sistema operacional convidado.
Você encontrará essa tecnologia nas placas de nível de servidores Intel e AMD e, se estiver com orçamento limitado, as placas Gigabyte AMD970 / 990 suportam isso. No entanto, isso não é anunciado e você deve consultar o manual do MB para saber se ele é compatível. Se isso acontecer, basta ativá-lo no BIOS. Eu acho que existe um artigo da Wikipedia que acompanha o hardware compatível com o IOMMU.
Estou usando o Gigabyte GA990FX UD3 com AMD FX8120 com ESXi para passar as placas de rede aos convidados e ele funciona muito bem, mas com a placa gráfica você provavelmente terá uma queda de desempenho.
Você também precisará certificar-se de não passar sua única GPU para o guest, pois isso tornará seu host inoperável, por isso, ter duas placas gráficas é uma obrigação.