Eu sei que não é uma resposta direta à sua pergunta, mas você já considerou o monitoramento com outra ferramenta, como Fiddler ou WireShark? Você pode obter mais informações sobre a causa raiz do problema usando uma ferramenta diferente.
Nas ferramentas para desenvolvedores do Chrome, na guia "Rede", estou curioso para saber o que está acontecendo durante as lacunas. Se você olhar minha imagem abaixo, destaquei em laranja as áreas onde essas lacunas existem. Onde posso carregar muita da minha página do cache, é uma pena que essas grandes lacunas ocorram, pois elas compõem a maior parte do tempo de carregamento da minha página. O que exatamente está acontecendo neste tempo?
EDITAR
Ok,euencontrei
Eu sei que não é uma resposta direta à sua pergunta, mas você já considerou o monitoramento com outra ferramenta, como Fiddler ou WireShark? Você pode obter mais informações sobre a causa raiz do problema usando uma ferramenta diferente.