Veja o arquivo
/etc/pam.d/common-auth
Esta linha deve permitir que alguém tenha 3 tentativas. Também desbloqueia após 21600 segundos (= 6 horas).
auth required pam_tally.so onerr=fail deny=3 unlock_time=21600
Isso não desligará seu sistema, mas fará com que o usuário permaneça na tela de login com um aviso (s) que ele não pode fazer login. Eu ainda não vi um método onde você pode desligar o sistema depois de três tentativas de log.