Use a opção display-name conforme documentada na documentação do mod_wsgi para rotular os processos do daemon mod_wsgi. Dessa forma você pode ver com 'ps' se os processos grandes são de fato os processos daemon mod_wsgi.
Se eles são muito gordos, o Apache ou mod_wsgi não tem nada a ver com isso. Será porque suas próprias aplicações são gordas. Isso pode ser devido ao cache excessivo de dados na memória ou vazamento de recursos.
Se o processo do daemon mod_wsgi rotulado não for gordo, talvez você não tenha delegado os aplicativos Python para serem executados nos processos daemon corretamente. Isso ou sua aplicação PHP é o problema.
Em suma, quando o seu aplicativo é gordo, não importa qual mecanismo de hospedagem você usa, eles ainda estarão gordos, e o Apache e mod_wsgi não têm nada a ver com isso, a menos que você tenha preenchido a configuração do Apache.