Essa é a porta do lado do cliente. Será um número aleatório alto (menor que 65535) e não relacionado à porta em que o servidor é executado.
Estou tentando entender o que estou vendo no meu arquivo de log SSH para que eu possa me defender melhor contra os malfeitores. Particularmente interessado em entender o número listado após "port" no log. Aqui está um exemplo do meu arquivo de log
Mar 30 00:05:16 server sshd[11067]: Failed password for root from 124.228.136.143 port 54381 ssh2
Mar 30 00:05:21 server sshd[11067]: Failed password for root from 124.228.136.143 port 54381 ssh2
Mar 30 01:00:53 server sshd[32193]: Accepted password for root from 192.168.3.3 port 50087 ssh2
Alterei meu SSH para ser executado em uma porta não padrão. As duas primeiras tentativas de SSH com falha são de uma fonte desconhecida (não de qualquer um dos meus endereços IP), o terceiro sucesso é um login feito por mim. No entanto, o número listado após "port" no log não é o número da porta que o SSH responde no servidor .... então, qual é este número?
Como um aparte, é melhor restringir logins de raiz. Use um usuário regular e sudo ou su para escalar privs.
É a porta de origem - a porta (aleatória) da qual a conexão está sendo iniciada para seu ouvinte SSH.
Outra boa idéia para servidores ssh é mover a porta para algo diferente de 22, já que ela é escaneada aleatoriamente o tempo todo (é isso que você está vendo). Outras formas comuns de bloquear o ssh são as funcionalidades "allowed-hosts", implementar "port knocking" e iptables que bloqueiam o acesso sshd por algum tempo a endereços IP com muitas tentativas de login.
Por último, mas certamente não menos importante, use senhas strongs e gire-as regularmente.