Como tenho pesquisado como configurar o sshd para este mesmo caso e usar o AllowUsers para este propósito, forçaria-me a listar cada e qualquer outro usuário permitido para efetuar login (e assim fazendo um enorme arquivo de configuração no meu caso), aqui está a maneira como você pode impedir que um único usuário se conecte apenas com os hosts que você quer, mas sem afetar outros usuários.
Em sshd_config , antes de qualquer bloco Match (se você tiver algum):
DenyUsers user1@!thishostmayconnect,!anotherhostwhereitworks,*
O ! significa exceto , por isso está negando user1 exceto de thishostmayconnect e de anotherhostwhereitworks , mas ainda está faltando a negação ativa parte, e esse é o curinga * no final.
Resumindo: negando user1 para todos os hosts , exceto thishostmayconnect e anotherhostwhereitworks .
Dessa forma, todos os outros usuários, exceto user1 , podem fazer login de onde quiserem.
Você pode criar qualquer número de linhas para restringir outros usuários:
DenyUsers user1@!thishostmayconnect,!anotherhostwhereitworks,*
DenyUsers user2@!workstation,*
NOTA: se você tiver configurado UseDNS no , poderá ser necessário digitar o endereço IP em vez do nome do host para que ele funcione.
Informações adicionais: link