Gostaria de começar procurando em /var/log/auth.log
Autenticação e senhas Linux e coisas são tratadas pelo PAM (módulos de autenticação conectáveis). Você pode obter esses módulos para dar saída de depuração para auth.log alterando arquivos em /etc/pam.d /
Note que fazer algo mais envolvido do que adicionar "debug" a uma linha é RISKY, pois mesmo que você saiba o que está fazendo, é muito fácil acabar tornando impossível o login (nesse caso, você precisa reiniciar a partir de um live CD ou algo assim). E você precisa ter uma cópia de backup de qualquer coisa que você editar. E você PRECISA ter outro shell de root aberto, assim você pode copiar de volta sua cópia de backup.
Aqui está uma boa página sobre depuração do PAM que eu usei para corrigir alguns problemas de autenticação do kerberos:
link