Depende do seu servidor ssh (e distribuição do Linux).
Confira /etc/ssh/sshd_config (ou similar, isso é pelo menos nas distribuições baseadas no Debian).
Existe uma linha
Port 22
Mude e reinicie seu sshd (geralmente /etc/init.d/ssh restart , pode ser também /etc/init.d/sshd ).