Eu não sei qual plataforma e & versão que você está usando
Mas
TCP Wrappers pode ajudar
Edite seu arquivo /etc/hosts.allow
#first Allow all local connections
ALL: 127.0.0.1
#allow ssh Access to IPs this is important as you need to allow some users to login via ssh
sshd: 1.1.1.1
sshd: 2.2.2.2
#change above Ips to your need then only those will have ssh access
#Allow mysqld access i.e port 3306 to limited users
mysqld: 1.1.1.1
mysqld: 2.2.2.2
#change above Ips to your need then only those will have ssh access
Em /etc/hosts.deny
ALL:ALL
#this will deny everything else
No arquivo hosts.allow, você pode adicionar outros serviços, como proftpd, httpd, sendmail, acesso a apenas usuários limitados & tem um controle melhor.