Em primeiro lugar, largura de banda (speedtest) e tempo de ping (ping) não são a mesma coisa.
1) quantas ms você vê na saída do ping? Também onde você faz ping? Você tem que fazer um ping para um endereço próximo (por exemplo, para o seu roteador doméstico 192.168.XX) e depois outro longe de você (como google.com) para que você possa comparar os resultados para ver se há uma rede doméstica / de escritório interna problema ou mau acesso à Internet ISP, etc.
2) você já tentou usar servidores DNS manuais? por exemplo. 8.8.8.8 Você vê alguma diferença?
Parece-me mais problema de configuração do roteador, do que qualquer outra coisa. Mas sem mais informações, é difícil adivinhar ...