Eu finalmente achei que isso é feito com um recurso do kernel chamado vga arbiter. Qualquer adaptador VGA usado como primário pelo BIOS acaba sendo sinalizado como o dispositivo "bootvga". É possível forçar o vga arbiter a selecionar e usar o próximo adaptador vga usando o driver stub para o adaptador VGA indesejado. Recupere o ID do dispositivo pci usando lspci -nn | grep VGA
Adicione este parâmetro à sua linha de comando do kernel pci-stub.ids=0000:0000
Quando eu mudar para o RHEL 7, estarei fazendo o pci passthrough com este adaptador desativado. Lembre-se de placas gráficas Nvidia também incluem um dispositivo de áudio e acabam no mesmo grupo IOMMU como o dispositivo VGA. Ambos os IDs do dispositivo pci precisarão ser eliminados.