A resposta pode ser encontrada aqui: link
Mais especificamente, o PCI Passthrough não funciona em processadores Intel que não possuem suporte a VT-d. Muitos dos processadores da série K da Intel não têm isso. A CPU ainda tem suporte ao VT-x, o que explica por que o KVM regular funcionaria com o seu hardware, mas não quando você tenta passar dispositivos PCI, como placas gráficas.