Primeiro, vamos começar na mesma página em relação à terminologia: Quando você diz que tem um Host Virtual, você quer dizer que a máquina virtual (guest) está rodando no Hyper-V? Em caso afirmativo, não o chame de Host virtual, pois isso dificulta a compreensão se você quer dizer Hyper-V (o host do hipervisor) ou se você quer dizer a máquina virtual (o convidado do hipervisor).
Em segundo lugar, você não atribui endereços IP aos seus comutadores virtuais, exceto no caso em que você compartilha o comutador virtual com o sistema operacional de gerenciamento (o host Hyper-V) com o propósito de usar esse endereço IP para se conectar e gerenciar o host do Hyper-V. Quando você faz isso, o Hyper-V cria um adaptador de rede virtual ao qual você atribui informações de endereçamento IP, novamente para conectar-se e gerenciar o próprio host do Hyper-V. Este endereço IP não está relacionado às suas máquinas virtuais. Você precisa atribuir os endereços IP que você deseja usar para as máquinas virtuais no sistema operacional das máquinas virtuais.