Não, sinais (elétrons em cobre, neste caso) podem chegar a 20m em cerca de 68ns. Portanto, o efeito do comprimento do cabo dentro de uma LAN é 5 ou 6 ordens de grandeza muito pequeno para você medir com um ping RTT.
O ping RTT Gigabit Ethernet em uma rede ociosa deve ser menor que 1 ms. Os intervalos que você está obtendo sugerem congestionamento ou um roteador de baixo desempenho que leva muito tempo para responder a solicitações de ping.