Você pode experimentar valores diferentes para -Xms
e -Xmx
começar com -Xms1024m
e -Xmx2048m
e ver se isso ajuda.
Outra coisa que você pode experimentar são diferentes estratégias de coleta de lixo e muitas outras configurações de jvm. Sugiro visitar esta questão no Stack Overflow