Veja man sshd_config . Existe a possibilidade de adicionar AllowUsers block onde você pode especificar usuário e host assim:
AllowUsers user@host # or IP
É claro que você precisa especificar também outros usuários dos quais deseja permitir o login, se tiver algum.
Outra solução (depende de correções de bugs!)
Ao pensar nisso mais uma vez, existe a possibilidade de modificar o seu sshd_config assim:
Match Host !hostname
DenyUsers user
Match Host hostname
AllowUsers user
Isso facilmente bloquearia todos os usuários, exceto de user de hostname e, de qualquer outro lugar, bloquearia user .
MAS isso não funciona, por causa de alguns erros reportados upstream [1] [2]. Mas nós temos prometido que será corrigido no próximo lançamento.