Relacionado ao PAM, você gostaria de pesquisar como implementar o pam_exec.so para executar um script para desligar a máquina em busca de tentativas de login durante a autenticação.
Há um bom recurso aqui em que alguém implementou o mesmo tipo de configuração, onde ele rastreou as contagens de login para determinar quando o script de desligamento deve ser chamado.
Fonte: link
Espero que isso ajude.