Esse é o comportamento esperado, o arquivo sudoers é consultado somente quando você executa o sudo, de modo que ele nega o acesso do usuário ao comando e fornece a mensagem de erro relevante.
Quando o usuário tenta executar o comando diretamente, o sudo não está envolvido, portanto, você obtém as mensagens de erro produzidas pelos comandos individuais com falha porque o usuário não tem privilégios.
Se você quiser restringir o usuário a apenas uma atividade, poderá permitir o login via ssh e amarre suas chaves ao comando único usando
command="/usr/bin/sudo /etc/init.d/nginx reload" ssh-rsa AAAAB3NzaC1...
Com essa configuração quando o usuário faz o login, o recarregamento é executado e eles são desconectados.
Se, em uma data posterior, você decidir que precisa que o usuário realize outras operações, poderá estenda esta ideia .