O único benefício possível é que você sabe que o IP "atacante" é um "vilão" ou uma máquina comprometida, e provavelmente não quer falar com eles de qualquer maneira. É provável que eles tentem outros protocolos. Se você não tem nenhum aberto, nada para se preocupar.
Isso pode reduzir um pouco a largura de banda. Isso definitivamente reduziria o spam em seus logs (eu mudo minha porta SSH para 2222 por esse motivo; mas não recomende essa tática a menos que você tenha um pequeno grupo de administradores acessando a caixa).
É tecnicamente possível que eles possam adivinhar uma chave SSH, mas totalmente irrealista pensar que isso acontecerá. Eu recomendaria alterar suas chaves SSH a cada poucos anos (para garantir que você está usando a tecnologia "atual" e para verificar a documentação em torno do sistema).