Bem, tente permitir que mais processos apache. Aqui estão alguns links úteis:
Eu uso o apache2 por trás do nginx em um servidor de 8 núcleos com 48GB de RAM. Agora meu sistema usa apenas 3 GB de toda a memória, mas há alta carga nos processadores. Como posso usar minha memória livre em vez do tempo das CPUs?
Eu também uso memcached e xcache.