Você pode usar os chamados "TCP wrappers", os arquivos /etc/hosts.allow e /etc/hosts.deny para restringir o acesso. Por exemplo, você pode adicionar a linha:
sshd: sammy.badguy.net
para /etc/hosts.deny .
Você geralmente não precisa reiniciar a rede de serviços para que as alterações em /etc/hosts.deny entrem em vigor. No entanto, você deve testar depois de fazer alterações, especialmente se fizer alterações remotamente enquanto estiver conectado via SSH.
Você pode encontrar um guia mais completo para controlar o acesso SSH com TCP aqui .
Você também pode ler
man hosts.deny