Você pode reverter as alterações de sshd_config e simplesmente usar /etc/hosts.allow . Na sua distro, pode ser /etc/hosts.allow e /etc/hosts.deny .
Por exemplo, com o FreeBSD você usaria:
sshd : <ip of allowed> : allow
sshd : <another ip> : allow
sshd : ALL : deny
Não deixe de adicionar a regra deny no final!