Nesta situação, você tem dois adaptadores gráficos, não apenas um.
O host usa o GPU integrado, você tem que dizer para reservar o outro para o convidado. Já que você esconde a outra GPU do host, você não pode usá-la no host. Essa reserva, para evitar que o host faça qualquer coisa com a segunda GPU, é feita na inicialização; Eu não acho que é possível hotplug / desconectar o dispositivo PCI no host.
Por outro lado, você deve ter dois convidados e alternar o GPU entre os dois, desde que apenas um dos convidados seja inicializado.