Vou tentar classificar minha resposta em pontos que podem ajudar você com o status:
- Como estamos falando de conteúdo estático, sugiro usar o Nginx como um proxy reverso para armazenar seu conteúdo estático. O download lento pode ser porque você está atingindo o limite de conexões simultâneas do Apache.
- O uso de domínios ou subdomínios diferentes pode ajudar no escopo dos próprios navegadores, mas, por outro lado, pode afetar a velocidade e a classificação global de sua página, pois seus subdomínios adicionam mais solicitações de resolução de DNS não é uma coisa boa.
- Dê uma olhada em algo como: Cloudflare.com, eles têm alguns serviços gratuitos muito bons para se beneficiar.
- Use o cabeçalho Cache do navegador, isso pode ser de grande ajuda caso seu conteúdo não esteja mudando muito dinamicamente.
- Tente manter seus scripts estáticos (ex. CSS, JS) sempre reduzidos ao máximo.
- Tente usar alguns serviços como: link e link , pois eles podem fornecer detalhes muito valiosos sobre o desempenho do carregamento de suas páginas, além de dicas valiosas para obter melhores resultados.
- Tente minimizar os pedidos que suas páginas geram (como combinar diferentes estilos ou imagens de layout em menos imagens e controlá-las por CSS)
Humm .. isso é o que eu tinha em mente atm.