Sim, o cliente deve parar de tentar a conexão ... mas:
- Muitos ISPs com morte cerebral bloqueiam o ICMP ou um subconjunto de mensagens ICMP.
- Muitos NATs não passam mensagens ICMP para dentro corretamente.
- Muitos sistemas operacionais bloqueiam o ICMP no firewall.
- Muitos conjuntos de "segurança" bloqueiam o ICMP.
- Nem todas as pilhas IP respondem corretamente ao ICMP.
- Nem todas as aplicações / APIs respondem corretamente ao ICMP.
Com tudo isso, a situação que você descreveu não é apenas mais comum do que deveria ser, mas muito comum.