Você pode querer ler sobre como a Internet funciona e como a comutação de pacotes funciona para adicionar a explicação aqui.
Mas por enquanto, vamos supor que as coisas são puramente entre o seu PC, para um servidor host muito específico que você tenha o endereço IP.
A maneira como a comutação de pacotes funciona é "tente o nosso melhor" para enviar pacotes para o destino.
Se, por alguma razão, os switches / roteadores entre o seu PC e o servidor tiverem problemas (muito tráfego, ou ele morrer), ele simplesmente tentará rotear o pacote usando rotas diferentes. O mesmo pedido pode acabar passando por várias rotas diferentes, porque é a melhor rota "naquele momento".
Ou se o roteador / switch para o qual seu pacote chega está muito ocupado, esse roteador descartará seus pacotes e enviará uma confirmação para o seu PC informando que eles o descartaram. Seu PC irá reenviar o pacote, esperando que ele chegue. (Todo este processo é completamente transparente e você não o verá a menos que saiba o que está fazendo / procurando)
Link físico diferente afetará definitivamente o tempo decorrido, não apenas porque você pode não estar na rota mais direta, mas também, talvez a rota em linha reta esteja altamente congestionada e você possa acabar mais rápido usando a rota em andamento o mundo primeiro.
Para comparação, imagine que você está dirigindo seu carro de A para B. Mesma velocidade de condução, mesma estrada, você ainda terá um tempo diferente devido ao congestionamento da rede. Então um dia você decidiu usar uma estrada diferente. A estrada menor, a via de acesso, a estrada, o nome dela. Você pode chegar mais rápido / mais devagar - você realmente não sabe. Você pode ter um tempo "médio", mas o tempo decorrido ainda será diferente.
Espero que isso ajude.