é a porta que você mencionou acima, a porta real que o IIS está escutando? Em caso afirmativo, verifique se você está inserindo o link
A sua compreensão está correta, então não sei por que isso funcionaria. Qual é o erro numérico específico que você recebe? É 404 ou é um erro 500?
Editar 1: Muito simples, então, basta definir seus sites do IIS para a porta 80 em qualquer endereço IP :) Cabeçalhos de host, em seguida, cuidar do resto. 80 está implícito ao inserir "http", para que os usuários não precisem adicionar a porta no final.
Veja o link abaixo link
Nome do cabeçalho do host da porta TCP do endereço IP
192.168.0.100 80 www.example1.com 192.168.0.100 80 exemplo1.com