Para reduzi-lo, você poderia fazer um traceroute em algum lugar e obter os IPs do roteador e o primeiro hop depois dele. Em seguida, faça um ping para os dois para ver se você tem uma conexão mais confiável com o roteador do que o roteador tem com o próximo salto. Se assim for, você reclama com o ISP.
Exemplo em um ambiente NAT:
$ /usr/sbin/tracepath 8.8.8.8
1: google-public-dns-a.google.com 0.081ms pmtu 1500
1: 10.x.x.x 1.369ms
1: 10.x.x.x 1.189ms
2: 192.168.1.1 4.319ms <- Router in my house
3: 188.xxx.80.1 7.047ms <- Router at the ISP
4: 82.xxx.192.5 7.815ms