É difícil identificar a causa exata de um servidor de desempenho lento a partir de apenas uma breve descrição, você vai querer fazer alguns benchmarking para direcionar a causa da desaceleração. Por exemplo ...
-
Pode ser a configuração do apache (os clientes máximos podem ser configurados para um número baixo realmente - no entanto, isso é duvidoso). Tente o benchmark do apache (ab)
-
Poderiam ser consultas MySQL mal construídas causando bloqueios de tabela (dependendo do seu mecanismo de armazenamento para cada tabela acessada) ou o limite de conexão do MySQL sendo realmente baixo (verifique isto )
-
Pode ser que seus scripts PHP sejam realmente intensos e seu servidor simplesmente não tenha o hardware para suportar esse nível de atividade.
-
EDIT: Dê uma olhada no munin que lhe dará uma visão abrangente do desempenho do seu servidor, então monitore-o como você faz os pedidos.
É tudo muito subjetivo. Talvez outra pessoa possa apontar outros problemas em potencial.