Depende do seu servidor ssh (e distribuição do Linux).
Confira /etc/ssh/sshd_config
(ou similar, isso é pelo menos nas distribuições baseadas no Debian).
Existe uma linha
Port 22
Mude e reinicie seu sshd (geralmente /etc/init.d/ssh restart
, pode ser também /etc/init.d/sshd
).