Além das respostas acima, você pode fazer o seguinte para proteger ainda mais seu acesso ssh:
Alterar a porta SSH padrão
Normalmente, os bots estão tentando acessar a porta padrão 22 / tcp e tentam fazer o login com nomes de usuários diferentes (root, admin, etc). Geralmente, esses ataques não causam problemas se você estiver usando senhas strongs ou chaves melhores e não permitir logins de raiz.
O mais irritante é que as tentativas de login mal-sucedidas estão enviando spam para seus registros de segurança e, se acontecer alguma coisa, será difícil encontrar a entrada correta.
Ativar batida de portas
Port Knocking é uma boa ideia. A porta ssh padrão é fechada até que você bata em uma ou várias portas na ordem correta. A porta ssh é então aberta automaticamente e você pode efetuar o login.
Como de costume alguém já implementou ;-)
Aqui a documentação:
link