Quando o PAM bloqueia uma conta de usuário, ela não fornece nenhuma mensagem de que a conta está bloqueada, de modo a não fornecer informações adicionais aos invasores. como tal, você nunca receberá um aviso de que sua conta está bloqueada.
para testar suas configurações, insira um bom nome de usuário e uma senha incorreta 3 vezes. em seguida, insira o nome de usuário e a senha corretos nos 40 segundos para os quais você definiu o bloqueio. Se você estiver logado, as configurações falharam, mas se você receber "Nome de usuário ou senha incorretos" com as credenciais corretas, tudo estará funcionando corretamente.
verifique também se a linha 'auth required pam_tally.so ...' precede a linha 'auth sufficient pam_unix.so ...'.
para mais dicas, confira aqui: link