Sim, você está certo sobre o arquivo sshd_config.
Provavelmente, você não tem uma linha que comece com AllowUsers ou DenyUsers , mas é possível adicionar uma linha com uma dessas palavras-chave, seguida pelos nomes de usuários, separados por espaços. Dependendo de qual caminho você escolher, ou seja, Permitir ou Negar caminhos, o comportamento será como a palavra-chave descreve. Se você tiver poucos usuários para permitir na via ssh use AllowUsers. Caso contrário, use DenyUsers para impedir que um pequeno conjunto de usuários consiga efetuar login.
Exercite o maior respeito ao que você está fazendo. Se você estiver em um sistema de produção e fizer um erro de digitação ou se esquecer de incluir um nome de usuário essencial na lista, poderá causar muita dor de cabeça a você mesmo.
Escusado será dizer que, após a edição do arquivo sshd_config, certifique-se de reiniciar o serviço sshd.