Pare de tentar conectar o adaptador do Virtual Switch com QUALQUER um dos adaptadores de rede física no host. Não é assim que funciona a rede Hyper-V e é, sem dúvida, a causa de seus problemas. A maneira correta de implementar a rede no Hyper-V para a comunicação da VM que precisa ocorrer entre as máquinas virtuais e o restante da rede externa (a rede além do Virtual Switch) é criar um external Virtual Switch em um dos adaptadores físicos no host, preferencialmente uma NIC dedicada à comunicação da Máquina Virtual. Se você tiver apenas uma única NIC no host, ela poderá ser usada para a comunicação do host e para a comunicação da VM, embora não possa ser uma NIC sem fio.