Magento é terrivelmente lento quando você desabilita o cache ... mais ou menos em um vps, uma vez que ele tem que analisar uma tonelada de arquivos XML. A maneira como ele renderiza uma página facilita muito o acréscimo de novas coisas em toda a página, mas também exige algumas consultas SQL massivas e também o carregamento de arquivos xml.
Então, desabilitar o cache significa que o magento tem que ler esses arquivos xml em cada requisição. Então, cada processo agora está competindo por cpu e disco IO. Em um disco vps IO é onde o gargalo será 90% do tempo. Então, 4 processos simultâneos, todos pedindo para ler um monte de arquivos xml, causando muita CPU, esperam nos processos do apache.
se você fizer um strace
em um dos processos do apache enquanto ele renderiza uma página no magento, você verá todo o xml que ele precisa renderizar.
Eu não toquei em magento em mais de 2 anos, mas foi um pesadelo rodar um site com tráfego, então minha empresa na época acabou construindo seu próprio software.