Verifique isso no site do oracle: Mensagens de erro comuns do NIS +
Ele contém os erros conhecidos e você dá dicas sobre onde procurar o erro.
Para este em particular:
Description: The NIS+ command nissetup failed to create the directories and tables. Check your system console for system error messages:
If there is a system error message, fix the problem described in the error message and rerun nisserver.
If there aren't any system error messages, check to see whether the rpc.nisd process is running. If it is not running, restart it and rerun nisserver.
Blockquote
Então, basicamente, verifique / var / adm / messages se há erros e verifique se o daemon rpc está sendo executado:
ps -ef|grep rpc.nisd
Se a taxa de transferência estiver vazia, inicie o processo.
Execute o comando novamente e, em outra sessão ou terminal, faça o seguinte:
tail -f /var/adm/messages
Espero que você possa ver o erro gerado e tomar as medidas adequadas para corrigir o problema.