Você pode experimentar valores diferentes para -Xms e -Xmx começar com -Xms1024m e -Xmx2048m e ver se isso ajuda.
Outra coisa que você pode experimentar são diferentes estratégias de coleta de lixo e muitas outras configurações de jvm. Sugiro visitar esta questão no Stack Overflow