Eu suspeito de problemas de MTU sempre que uma rede suspeita fica pendurada assim. Tente cat
ing um arquivo de texto grande (algo acima de 4k) e veja se isso trava a sessão também. Em caso afirmativo, é quase certo que você tem um pequeno MTU em algum lugar ao longo do caminho que está causando problemas (especialmente porque depende do horário; talvez seu tráfego esteja tomando uma rota diferente em diferentes momentos do dia). Pesquise o Google (ou faça uma nova pergunta) para descobrir como consertar os problemas de MTU (não vou gastar muito escrevendo tudo isso aqui, na chance de estar errado).