Por favor, dê uma olhada no manpage para o arquivo de configuração sshd .
As opções que você está procurando são AllowUsers e AllowGroups , bem como suas contrapartes DenyUsers e DenyGroups .
Se este arquivo de configuração é novo para você, eu recomendo strongmente que você verifique como configurar e configurar o serviço SSH para usar chaves públicas, desabilitar logins de senha e provavelmente como banir endereços IP que tentam forçar senhas (como configurar o fail2ban ).
Se você tiver um serviço FTP separado em execução no seu servidor, ele não será afetado.