Você pode usar as diretivas Match User
ou Match Group
:
Match Group usergroup
PasswordAuthentication no
Se você não quiser usar grupos, poderá especificar cada usuário:
Match User user1,user2
PasswordAuthentcation yes
Match User user3
PasswordAuthentication no
Minha preferência é nunca atribuir privilégios diretamente aos usuários (não importa o sistema), então eu sempre uso grupos. Isso também traz o benefício de que você pode alterar a associação ao grupo sem precisar reiniciar o sshd.
NB. Essas linhas de configuração devem ser escritas abaixo de todas as outras configurações em /etc/sshd_config
.