Meu entendimento é que você já tem a porta de encaminhamento do roteador 80 para o Windows e a porta 8080 para o Linux. Agora você está tentando resolver o problema de pessoas digitando o nome de domínio do servidor Linux sem o ": 8080" e esse tráfego indo para a caixa do Windows.
A solução é criar dois sites no IIS e configurá-los para ouvir no mesmo endereço IP. A única diferença será o cabeçalho do host. Dessa forma, quando o tráfego da web chegar ao IIS, ele verá o URL e direcionará o tráfego para o site certo com base no nome de domínio. Aqui está o artigo do TechNet sobre como criar cabeçalhos de host. link
Depois disso, tudo o que você precisa fazer é configurar o redirecionamento de todo o tráfego para o site IIS Linux para http: // LinuxDomainName : 8080 Você pode escrever uma página de redirecionamento em HTML ou usar o módulo "HTTP Redirect" no IIS. link
Espero que isso ajude ...
-Joe