chkconfig controla se o serviço deve iniciar quando o computador é inicializado, enquanto service permite gerenciar (iniciar, parar, consultar status) o serviço.
Então:
# service httpd stop
(observe que a opção fornecida é stop e não off ) interrompe o serviço httpd , mas não impede que httpd seja iniciado na reinicialização, enquanto
# chkconfig httpd off
desativa httpd para que não seja iniciado após a reinicialização, mas não parará uma instância em execução do serviço httpd .