A solução fácil seria criar interfaces marcadas, construir uma ponte em cada uma delas e conectar as VMs às pontes. Com o IOMMU, você provavelmente ficará melhor em termos de latência, mas a marcação no IOMMU é mais fácil na VM.
Apenas certifique-se de que a porta do switch esteja definida como tronco.
Quanto ao carregamento no host, eu vi hosts com centenas de interfaces marcadas sem nenhuma sobrecarga visível nos recursos do host.