Pelo menos duas viagens completas de ida e volta são necessárias na rede para começar a carregar uma página, e isso ocorre depois que a pesquisa de DNS ocorre, o que às vezes pode demorar ainda mais. Então, pegue seus tempos de ping e duplique-os para saber como eles afetam o carregamento da página.
Uma ferramenta de depuração do navegador, como o Firebug ou as ferramentas de desenvolvedor do Google Chrome, informam especificamente o tempo gasto no carregamento de uma página, o que deve lhe dar uma ideia muito melhor do que está atrasando as coisas. Por exemplo, aqui estão as minhas ferramentas de desenvolvimento do Chrome informando o tempo gasto ao carregar a página inicial do Google: