Isso pode ser um problema relacionado ao seu ISP (ou há roteamento de upstream) - pode ser que eles tenham filtragem de caminho reverso em uma rota que não deveriam e pacotes estão saindo, mas não voltando por uma rota diferente, ou que um dos caminhos é anunciado incorretamente em algum lugar. Também pode ser que haja algum tipo de firewall ou bloqueio acontecendo.
O uso de uma VPN força uma rota diferente para o terminal, ignorando o problema. Este problema deve ser reportado ao seu ISP.
Existem alguns outros cenários concebíveis, mas altamente improváveis (como um problema de MTU combinado com um bloco ICMP)