Você está executando o Java em um ambiente de 64 bits, mas está alocando memória suficiente para ele?
As opções de linha de comando -Xms e -Xmx podem ser o que você precisa. Eles especificam o tamanho inicial e máximo do heap, respectivamente, e possuem valores padrão baixos em alguns sistemas, dependendo da maneira como o Java foi instalado.
Eu não sei em qual máquina você executa isso, e quanta memória você pode alocar, mas se você usa arquitetura de 64 bits, eu diria que java -Xms1G -Xmx3G
é seguro e fornecerá mais espaço.