Apache + PHP: 100ms para iniciar o script?

Question

Eu estou tentando acelerar um script PHP rodando com o Apache 2 + PHP no modo pré-fork + APC. Parece que meu servidor leva 100ms para iniciar o script PHP, o que parece demais.

Quais são as maneiras de acelerar isso ou entender por que o servidor desperdiça 100 ms?

PS: Veja como eu obtive essa "sobrecarga de 100 ms":

When I test the script from my browser, Chrome's developer tools indicate the following average timing :

Connecting : 30ms
Waiting: 170ms
Receiving: 50ms

I've then added echo microtime(); to the first and last lines of my script. This shows a difference of 70ms, meaning that the whole script takes 70ms and Apache/PHP add 100ms in "overhead" to that.