Provavelmente, suas tentativas de login com falha são registradas por pam_tally ou pam_tally2. Você pode verificar isso chamando os dois programas. O que imprimir você com o seu contador pode ser usado para redefini-lo:
pam_tally2 --user yourid --reset
assumindo que o pam_tally2 funciona para você.