A execução do SSH em uma porta não padrão é semelhante a reposicionar o slot da chave de ignição de um carro no tronco. A segurança, apesar de obscura, não é segurança, mas impede que scripts de robôs sejam estúpidos para ver o cabo de extensão correndo do painel para o banco de trás.
A melhor maneira de proteger o SSH é impedir completamente logins raiz e reforçar o uso de pares de chaves, desativando logins de senha. Além disso, não use o modo preguiçoso e crie chaves sem senha.
Combater ataques de força bruta é melhor do que se esconder deles, você não quer que os IP's acessem qualquer serviço no sistema uma vez que eles não conseguem logar como root 100 vezes seguidas. É bastante fácil monitorar arquivos de log para isso e usar ferramentas de firewall (iptables) para bloquear solicitações futuras.
A combinação é muito mais segura .. e você não precisa confundir os usuários com uma porta não padrão:)