O que fazer:
1) Atualize a memória. Você precisa disso. Nenhum servidor realista é executado em mais de 4 GB de RAM
2) CPU de atualização: O que é 2.6ghz? Um Core 2 Duo?
3) Mude para o nginx (Just my opinion)
4) Se você tiver mais de 3.000 usuários simultâneos, poderá pesquisar em um balanceador de carga.