EXE's convertidos em serviços por utilitários como o NSSM estão repletos de chances de falha.
Até mesmo a NSSM aponta isso em sua página inicial :
"...if your application is well-behaved you can configure nssm to absolve all responsibility for restarting it and let Windows take care of recovery actions."
Parece que seu aplicativo não é "bem comportado".
Tente usando o NSSM para parar / iniciar e reiniciar o serviço ou, se isso não ajudar, reescreva / recompile o programa como um serviço real do Windows.