Depende de muitas coisas. O número atual de usuários ao qual o ISP está atendendo (o que geralmente leva a uma desaceleração nos horários de pico). Mas o motivo mais apropriado, o IMO, é o número de usuários que o servidor mede a velocidade.
Suponha que um servidor que esteja medindo velocidade tenha uma largura de banda total de 100 MBps; e há 5 usuários, cada um com 40 MBps como velocidade real. Então todos os 5 usuários que testarão sua velocidade simultaneamente neste servidor (de 100MBps de largura de banda) terão um resultado menor que sua velocidade real de 40MBps.
Além disso, as velocidades dependem da distância do servidor. Por isso, o teste de velocidade geralmente sempre escolhe automaticamente o servidor mais próximo de você.