Primeiro, tente executar ping em algum servidor (google.com?) ao tentar reproduzir esse problema. Pode ser um caso com drivers de placa sem fio. Tente também usar o cabo ethernet.
Se o problema aparecer apenas no SSH, tente ssh'ing com o parâmetro -v e cole aqui a saída.