Aparentemente você pode nohup /path/to/java -jar /path/to/server.jar &
em outros sistemas Unix / Linux. Eu apenas tentei e não tive sorte com o OSX.
Você pode executá-lo em uma sessão de tela.
screen -S ScreenSessionName -dmS /path/to/java -jar file.jar
Você pode reconectar a tela para interromper ou alterar a configuração no programa em execução com
screen -r ScreenSessionName
Digite man screen
no terminal para mais informações sobre como o utilitário de tela pode ser usado.