Blogs WordPress de alto volume provavelmente estão usando aceleradores PHP , para iniciantes. O WP é uma arquitetura muito abrangente que se beneficia particularmente bem de um acelerador (que é outra maneira de dizer que, como você está vendo, ele sofre particularmente por não ter um).
Sua velocidade aprimorada na segunda passada sugere para mim que o WP-Super-Cache está funcionando.