Você precisa definir essa configuração para o site padrão e para todos os outros sites, se tiver definido algum.
Ele pode ser configurado na seção "Ligações" de cada propriedade do site.
Na configuração padrão, você terá apenas um site (chamado "Site Padrão"), que responderá a qualquer solicitação em qualquer endereço IP que o servidor tenha, usando a porta 80; Nesse cenário, você só precisa modificar essa configuração para que ela escute na porta 8080.