Parece que o seu problema está no PHP ou Java (ou qualquer idioma) que você está usando para criar dinamicamente essas páginas.
O básico é que você obviamente tem uma quantidade de memória por conexão e número de conexões. Se o número de conexões estiver aumentando continuamente, seu problema é porque não está liberando essas conexões.
O Apache por padrão (e várias outras tecnologias de servidor da Web) soltará uma conexão após o tempo passado se estiver inativa, portanto, a menos que você tenha mais e mais pessoas construindo constantemente em seu site, você desativou esse comportamento padrão (improvável como você teria que ter feito isso de propósito), ou (mais provavelmente) há alguma lógica infinita de loop typoe em algum código em suas páginas que está consumindo memória e mantendo o apache achando que a conexão está viva.
Revise o que você personalizou e pesquise em complementos de terceiros para ver se eles conhecem problemas de memória. Um ou outro deve resolvê-lo.