Você precisa de acesso a esse host de vários locais? Ou você pode usar uma caixa de salto que tenha um IP estático? Se este for o caso, você pode definir uma regra de iptables que permita apenas o acesso SSH a um IP específico. Isso lhe dará negação implícita a qualquer pessoa, exceto os IPs estáticos.
As outras recomendações seriam alterar o serviço para escutar em uma porta não padrão, desativar a autenticação raiz e configurar o fail2ban.