Acredito que os processos do apache também aumentam de tamanho com base em outras variáveis, com o passar do tempo.
Você deve testar seu site e ver o que acontece. Talvez salve alguns ram para o cache / buffer / headroom também. Você não quer começar a trocar.
Confira isso: link
E isso: link
Tenho certeza de que há muitos outros aplicativos / serviços disponíveis para isso.
- EDITADO
Se este site for preciso, ele ajudará a entender o uso de memória do apache e discutirá o PHP e como reduzir seu uso de memória.