Coloque esses usuários em um grupo e use uma regra pam_access em /etc/security/access.conf para permitir logins apenas se o usuário estiver nesse grupo (e também para root , sysadmins e monitoramento, se necessário), por exemplo
+ : root wheel nagios : ALL
+ : yourusergrouphere : ALL
- : ALL : ALL