Como Fildor, sugiro que você corrija os problemas de memória.
Depois disso, uma possível solução é:
Se você estiver usando o Java anterior ao 8u92, poderá adicionar ao JVM o seguinte argumento:
java -jar <jar-name> -XX:OnOutOfMemoryError="kill -9 %p"
na versão 8u92 do Java ou superior, você pode usar -XX:+CrashOnOutOfMemory
ou -XX:+ExitOnOutOfMemoryError
Em seguida, configure seu serviço para reiniciar a falha:
Restart=on-failure
ou
Restart=always