Eu suspeito que você não terá muitas respostas aqui. Esta não é uma pergunta fácil de responder, e seria totalmente dependente do seu hardware, da sua aplicação, etc.
Dito isso, você deve avaliar cada parte de sua infraestrutura e descobrir onde está o gargalo. Até que você saiba se é apache, tomcat, haproxy, um back-end de banco de dados se houver um.
Até você saber onde está o problema, você não pode consertá-lo.