Eu procuraria algo como Monit para observar o processo e definir um limite de memória para reiniciar o processo.
Usando Monit , você pode ter uma declaração como:
check process jetty
with pidfile "/var/run/blah...
start program = "/path/to/start_script"
stop program = "/path/to/stop_script"
if mem usage > 95% for 11 cycles then restart