Você pode restringir por IP para um usuário especificado. Adicione a linha abaixo em /etc/ssh/sshd_config
:
AllowUsers [email protected]
Você também pode fazer o seguinte, se precisar de mais de um IP:
AllowUsers [email protected] [email protected]
OU
[email protected].*