Você pode usar qualquer número de cartões de qualquer número de fabricantes.
O Dom0 não se importará porque, embora saiba que há dispositivos lá, você estará transmitindo parâmetros de inicialização do kernel para dizer a ele para ignorar a procura e vinculação de drivers aos cartões, de modo que eles sejam deixados sozinhos para o domUs para lidar.
Cada domU só saberá sobre o cartão atribuído a ele, para que, por sua vez, não se importem com o fato de você ter várias placas de vídeo do mesmo fabricante ou de diferentes. Enquanto o sistema operacional da domU tiver drivers para a (s) placa (s) atribuída (s), ele poderá utilizá-lo totalmente.
A configuração do meu servidor Xen tem uma placa Nvidia barata para o host Xen e uma Radeon 7750, que monitora vários monitores dedicados a um dos convidados. Funciona como um encanto.
Observação: ainda há alguns problemas com reinicialização de domUs que receberam adaptadores VGA. A placa de vídeo pode não ser redefinida durante o processo de reinicialização e pode falhar ao inicializar corretamente após a reinicialização. Eu não encontrei uma solução para isso ainda assim você pode querer fazer algumas pesquisas em FLR (Function Level Resets) com passagem Xen VGA.
Felicidades,
JustAnotherLinuxAdmin