Você verificou sua política de coletor de lixo? Apenas aumentar a memória não é uma boa idéia, você deve fazer seus gráficos se comportarem com aumento e diminuição contínuos. Quando você tem uma grande quantidade de memória alocada, você demora mais tempo para esvaziar.
Veja isto: JBoss - Capítulo 9. Melhores práticas
Tamanho da pilha O tamanho da pilha é uma consideração importante para a coleta de lixo. Ter um heap desnecessariamente grande pode parar a JVM por segundos para executar a coleta de lixo. Tamanhos de heap pequenos também não são recomendados, porque eles colocam uma pressão desnecessária no sistema de coleta de lixo.