Quando isso acontece, você deve fazer um traceroute
no host remoto. Você verá em que ponto da sua infra-estrutura de roteamento o tráfego tem um "giro errado" e você pode inspecionar esse dispositivo mais de perto. Obviamente, há uma regra de configuração ou NAT ou qualquer outra coisa em algum lugar que você esqueceu que está causando isso.