O que você está falando é latência vs largura de banda. " It's the Latency, Stupid. " é uma leitura interessante que fala sobre isso em detalhes. O certo é que há muitos fatores. Mas, em geral, os modems dial-up e satélites têm maior latência do que a maioria das conexões de 'banda larga'. Isso pode ser perceptível para pessoas que navegam na Web em um modem dial-up.
Quando você diz "Assim, um arquivo de 100k pode demorar 0,5 segundo para a conexão e 30 segundos para download, o que significa que o arquivo adicionou 30,5 segundos ao tempo de carregamento do site", o que não é totalmente preciso. Com o TCP, o controle de transmissão , confirmações são enviadas para a outra extremidade da conexão para confirmar que os dados foram recebidos. A taxa na qual eles são enviados é o tamanho da janela TCP. Se o tamanho da janela for pequeno e houver alta latência, a largura de banda total não será usada. Portanto, a latência também pode afetar grandes transferências de arquivos. Este artigo do TCP Tuning na Wikipédia realmente explica bem, eu acho. Você pode ler mais sobre este aqui também.