Eu só tive exatamente esse mesmo problema. Iptables é uma boa idéia, mas você também pode usar hosts. [Allow | deny], o que eu acho é um pouco mais fácil.
Exemplo
Exemplo particularmente estrito - lista de permissões somente . Primeiro negue tudo:
# cat /etc/hosts.deny
ALL: ALL
E as regras de permissão:
# cat /etc/hosts.allow
sshd: 192.168.0.100
Além disso, este é um bom artigo: