Sim. Isso definitivamente teria efeitos negativos no desempenho da rede. Os switches usam endereços MAC para saber a qual porta do switch enviar tráfego. Se o switch não souber em qual porta enviar o tráfego, ele enviará os quadros para todas as portas, causando uma situação de sobrecarga. Você provavelmente também experimentaria conectividade intermitente nos hosts com MACs duplicados, pois o switch envia algum tráfego para um host e algum tráfego para o outro.
Você realmente precisa consertar isso. Você não quer endereços MAC duplicados no mesmo domínio de colisão.
Editar: VMSMP Event ID 28 parece não ser sobre colisões de endereço MAC acontecendo na rede, mas sim o Hyper-V impedindo que o tráfego ocorra em primeiro lugar por causa de um endereço MAC duplicado na configuração.
Port 'SWITCHPORT-SM-A6285CC8-5521-4180-BEE9-59C9929D26CB-1-1' was prevented from using MAC address '00-15-5D-64-3A-16' because it is pinned to port '27263E05-4CB3-4751-9'
Não sei se você está usando o agrupamento de NICs em seus hosts do Hyper-V e MACs dinâmicos para suas VMs, mas considere resolver os problemas atribuindo MACs estáticos que não estão em conflito.