Além da sugestão de Tim, configure sua conta de usuário para usar as chaves ssh para autenticação e, em seguida, configure o SSH para aceitar apenas a autenticação baseada em chave (sem senhas). Certifique-se também de que os logins raiz estejam desativados.
Veja um resumo das opções que fazem isso:
ChallengeResponseAuthentication no
HostbasedAuthentication no
PasswordAuthentication no
PermitEmptyPasswords no
PermitRootLogin no
PubkeyAuthentication yes
RSAAuthentication yes
RhostsRSAAuthentication no
UsePAM yes
UsePrivilegeSeparation yes
Lembre-se, você deve ter um login baseado em chave funcionando antes de desativar logins de senha. Caso contrário, você será bloqueado permanentemente .