"Tem que" - não. É vale a pena fazer, no entanto. Embora a porta do SSH seja padrão, não há nenhuma desvantagem real em usar uma porta não padrão (além de precisar lembrar qual porta você usou).
É uma maneira "relativamente barata" de evitar as tentativas mais simples de entrar em seu sistema - por bots verificando SSH em uma porta padrão e testando nomes de usuários e senhas em ataques de força bruta.
No entanto , é, praticamente falando, segurança pela obscuridade. Desativar o SSH como root (que é sempre uma boa idéia) e configurar a autenticação baseada em chave (o que torna impossível adivinhar sua senha) vai fazer muito mais, mas mudar de porta é um primeiro passo simples e indolor.