A principal coisa a verificar é que ambas as VMs usam o driver virtio-net. Se assim for, qualquer outro ajuste que você possa fazer no nível do switch de software será quase irrelevante.
Por outro lado, uma configuração correta do convidado (por exemplo: habilitar o quadro jumbo) será muito mais proveitosa.