Você vai querer usar Match blocos em sshd_config
Match Address 192.0.2.1
DenyGroups Group1
Match Address *,!192.0.2.1
DenyGroups Group2
Cuidado deve ser usado se, em vez disso, usar AllowGroups . DenyGroups é uma lista negra. AllowGroups é uma lista de permissões obrigatória.