Veja as diretivas AllowUsers e DenyUsers do sshd_config página man (e possivelmente também AllowGroups e DenyGroups ).
Basicamente, essas diretivas levam uma lista de padrões de usuários no formato user@host , separados por espaços. As diretivas têm a seguinte precedência: DenyUsers , AllowUsers , DenyGroups e finalmente AllowGroups .
Para o caso simples de permitir apenas um usuário específico de localhost , apenas a seguinte linha deve ser adicionada:
AllowUsers user@localhost
Isso implicitamente negará qualquer usuário de qualquer lugar que não seja user@localhost .