Se você passar algum hardware para um sistema convidado, o host não tem como acessá-lo. Na verdade, você precisa colocar o nouveau / nvidia na lista negra para garantir que o driver vfio possa expô-lo à VM.
Sim, a VM será capaz de fazer uso total da GPU, o impacto no desempenho será extremamente menor.
Além disso, não tenho certeza sobre o que você quer dizer com "em foco", apenas uma VM pode usar a GPU ao mesmo tempo e o host requer uma reinicialização para usá-la.
Observe também que, se você estiver usando um amd cpu, há um bug na implementação do kvm; se você habilitar npt (tabelas de páginas aninhadas), poderá haver lentidão em alguns aplicativos, e desativá-lo reduzirá o desempenho do cpu. guest, agora as únicas opções são esperar por uma correção ou usar xen.