Isso é mais complicado do que subtrair o atraso da conexão. É visível a função de ajuste e buffers da janela TCP, que é ajustada rapidamente e, para arquivos maiores, é visível, pois a velocidade está aumentando de muito baixa para o limite de rendimento da rede.
Mais informações podem ser encontradas aqui:
Ou a imagem que descreve mais de 1000 palavras: