Mover o sshd para uma porta não padrão provavelmente seria trivial para adicionar à sua configuração, e provavelmente eliminaria 99% do tráfego do bot ssh. Por que se expor a todos os ataques de força bruta quando você pode se esconder tão facilmente? ; -)
Eu também geralmente recomendo configurar o sshd para usar somente autenticação baseada em pares de chaves SSH, se ele for exposto à Internet como um todo. Contanto que você mantenha sua chave privada segura, é quase impossível para os criminosos se autenticarem como você no servidor.
Como outro comentarista já apontou, isso não protege você contra exploits de 0 dias no próprio sshd. É sempre uma boa ideia limitar o tráfego apenas às máquinas que precisam se conectar por meio de regras de firewall.