Eu suspeito que ele não esteja sendo executado como daemon. Um daemon verdadeiro deve bifurcar-se, setsid e fork novamente (juntamente com alguns outros pokery jiggery) que não podem ser feitos dentro de java.
É mais provável que você queira dizer que o processo que você invoca não sai.
Sua única opção prática é reescrever o código java.