Teste se você pode acessar o site no VPS de fora do VPS (ou seja, da máquina host ou de outro computador na sua rede).
Você pode testar se pode se conectar ao IIS (ou seja, testar se a comunicação de rede e o Firewall estão funcionando como esperado) usando telnet:
telnet 10.2.3.4 80
em que 10.2.3.4
é o IP do VPS. (Se for para uma tela em branco após o comando, significa que está se conectando).
Caso contrário, o único que não conseguir acessar o site do VPS é o Dedicado, soa como um problema de Rede / Roteamento entre o Ded / VPS
Que tipo de rede você criou no Hyper-V?
Eu recomendaria a rede Externa se você quiser que a VM atue como um nó normal em sua rede e seja acessível de qualquer lugar na sua rede.
Basicamente você deve procurar por comunicação Host / Guest no Hyper-V, aqui está um bom link: