Não é tão útil quanto algumas pessoas afirmam, mas pelo menos reduz o impacto em seus arquivos de log, já que muitas tentativas de login de força bruta usam apenas a porta padrão em vez de verificar se o SSH está escutando em outro lugar. Alguns ataques irão procurar por SSH em outro lugar, por isso não é uma bala de prata.
Se o seu servidor for um host compartilhado de algum tipo, em vez de apenas atender às necessidades de seus projetos, usar uma porta não padrão pode ser um problema, pois você terá que explicá-lo aos seus usuários repetidamente. e mais e mais quando eles esquecem e seus programas cliente não conseguem se conectar à porta 22!
Outro problema possível com o SSH em uma porta não padrão é se você encontrar um cliente com um conjunto de filtros restritivo, que não pode se conectar à sua porta personalizada porque o filtro só permite, por exemplo, portas 22, 53, 80 e 443 para ser o destino de novas conexões de saída. Isso é incomum, mas certamente não é inédito. Em um assunto semelhante, alguns ISPs podem ver o tráfego criptografado em uma porta diferente daquelas em que é geralmente esperado (porta 443 ou HTTPS, 22 para SSH e assim por diante) como uma tentativa de ocultar uma conexão P2P e estrangular (ou bloquear) a conexão de uma maneira inconveniente.
Pessoalmente, mantenho o SSH na porta padrão por conveniência. Contanto que as precauções usuais sejam tomadas (senha strong / política chave, restrição de logins de root, ...) não precisa ser uma preocupação e o problema de crescimento do arquivo de log quando você é atingido por um ataque de força bruta pode ser mitigado usando ferramentas como como fial2ban para bloquear temporariamente hosts que fornecem muitos conjuntos ruins de credenciais de autenticação em um determinado espaço de tempo.
Qualquer que seja a porta escolhida, se você se afastar de 22, certifique-se de que ela esteja abaixo de 1024. Na maioria das configurações do Unix-a-like em sua configuração padrão, somente root (ou usuários no grupo raiz) podem ouvir portas abaixo de 1024, mas qualquer usuário pode escutar nas portas mais altas. Executar o SSH em uma porta mais alta aumenta a chance de um usuário desonesto (ou hackeado) conseguir travar seu daemon SSH e substituí-lo por um proxy próprio ou proxy.