Bem, acabamos de encontrar este post explicando os diferentes estados .
the blue part is the time it takes to retrieve the content from the webserver
Isso significa que não é a "conexão" com o servidor da web, é o tempo que leva para baixar o conteúdo.
Portanto, se a sua página tiver muitos elementos (ou seja, imagens), o desempenho do servidor da web influenciará a velocidade de download das imagens. Geralmente, as últimas imagens na sua página demoram mais tempo (um longo tempo de "download"), mesmo que o tamanho seja menor do que outras.
Bem, devo dizer que a "análise" do pingdomtools não é ideal e leva (como no seu caso) a interpretações erradas. Para prová-lo, talvez verifique com outro analisador de sites.