Depois de muitos testes, alterações de configuração, etc. Eu não consegui corrigir esse problema com o Apache 2.4.
Eu decidi experimentar o Apache 2.2 usando a mesma configuração. Eu apenas removi algumas coisas que eram diretivas específicas do Apache 2.4.
Simplesmente funcionou. Mesmo servidor, configuração, aplicativo e carga. Com o Apache 2.2, não consigo mais os tempos limite.