OK, acontece que não tive o problema no Windows 7, então imaginei que poderia estar relacionado ao navegador. Meu Ubuntu Firefox tem (about: config) network.http.max-connections = 32. O Firefox tentaria abrir 32 conexões para o meu servidor. Os atrasos de 1s foram o Apache gerando novos processos filhos. Uma vez que limitei as conexões máximas ao tamanho dos meus processos ociosos do Apache, o problema desapareceu. Eu não posso contar com pessoas mudando de navegador, então, como uma correção, eu configurei o Apache MinSpareServers para 32. Além disso, se o MaxClients estiver muito baixo e o KeepAlive estiver ligado, o Firefox ainda tentará fazer 32 conexões paralelas, mas terá para esperar até que o KeepAlive expire para que novos processos-filhos do Apache possam ser gerados.