Já experimentou outro servidor speedtest.net para ver se isso dá o mesmo resultado? Também pode variar de acordo com a hora do dia.
A razão para este comportamento é a forma como a Internet é construída. Basicamente, cada ISP é sua própria grande rede e você normalmente obtém velocidades e latências muito rápidas, desde que permaneça dentro da rede do seu ISP. Os problemas começam agora se você precisar acessar um servidor com um ISP diferente do seu. Isso significa que você tem que atravessar uma fronteira na internet e como na vida real isso pode se tornar complicado.
Atravessar essa fronteira significa que os dois ISPs precisam configurar um link compartilhado que tenha uma determinada largura de banda. Quanto mais melhor, claro. O problema é que esses links podem ser caros e o ISP não está recebendo normalmente nenhum dinheiro desse link. Por isso, alguns provedores de serviços de Internet relutam bastante em investir nesses links e apenas criam uma interconexão de token que é pequena demais para o tráfego necessário.
Isto leva aos comportamentos que você vê, especialmente se um dos ISPs neste link é bastante popular. Você tem muitas pessoas tentando usar um link que está em capacidade e que leva a lentidão para todos. Você pode imaginá-lo como uma ponte durante as horas de deslocamento que é muito pequena para o tráfego. Como um engarrafamento na internet:)