Você diz que isso acontece tanto na Wikipedia quanto na sua própria instalação do MediaWiki, então podemos descartar a "reinstalação do MediaWiki" como uma solução. :) (Por enquanto, voluntários da administração do sistema para a Wikipedia e todos os projetos da Wikimedia são bem-vindos !)
Alguns usuários ocasionalmente experimentam tempos de espera especialmente para os recursos carregados de bits.wikimedia.org (principalmente CSS e JS). Já ouvi falar de usuários satisfeitos por uma simples extensão do Chrome / Chromium que simplifica os recursos carregado, removendo um particularmente pesado.
Dito isso, estou um pouco confuso sobre como isso pode acontecer no seu wiki também. É totalmente possível que a primeira solicitação atinja um cache frio e atinja o tempo limite, enquanto a segunda atinge um cache quente e responde no prazo. [O Firefox faz coisas mais extravagantes com o cache local, que às vezes melhoram as coisas (como pode estar acontecendo aqui) e às vezes não.] Se este for o caso, você pode querer usar webpagetest.org ou similar para descobrir se suas chamadas load.php são particularmente lentos.