Use o módulo pam_tally na sua configuração de autenticação do PAM. Insira como desejado nos arquivos de configuração /etc/pam.d/*
relevantes.
Amostra:
auth required pam_tally.so deny=10 unlock_time=60 per_user
10 logins com falha geram um bloqueio de 1 minuto.