Você pode fazer isso com o módulo pam_access , algo assim:
+ : (group1) : ALL
+ : (group2) : 127.0.0.0/24
- : ALL : ALL
Ative este módulo adicionando a seguinte linha em /etc/pam.d/sshd
:
account required pam_access.so
Verifique também se você ativou o PAM em /etc/ssh/sshd_config
:
UsePAM yes