Esse é o comportamento esperado.
A combinação mais específica de ligações é o que "leva". Se você especificar um nome de cabeçalho de host na ligação, as solicitações deverão conter o nome do host (via cabeçalho HTTP "Host:").
Se você pretende acessar um site por endereço IP, precisará de uma ligação nesse site sem o nome de cabeçalho do host especificado e o endereço de escuta apropriado selecionado ("Não atribuído" ou um IP específico, dependendo de como você ve atribuído outros IPs na máquina aos sites).
A intenção do recurso de nome do cabeçalho do host é permitir que você hospede vários sites no mesmo endereço IP e porta. O IIS seleciona o site apropriado para atender às solicitações recebidas com base no cabeçalho HTTP "Host:".