Por favor, dê uma olhada no manpage para o arquivo de configuração sshd .
As opções que você está procurando são AllowUsers
e AllowGroups
, bem como suas contrapartes DenyUsers
e DenyGroups
.
Se este arquivo de configuração é novo para você, eu recomendo strongmente que você verifique como configurar e configurar o serviço SSH para usar chaves públicas, desabilitar logins de senha e provavelmente como banir endereços IP que tentam forçar senhas (como configurar o fail2ban ).
Se você tiver um serviço FTP separado em execução no seu servidor, ele não será afetado.