A comunicação TCP está usando dois pares de endereço IP e porta. Um deles está no servidor e o outro no lado do cliente.
O seu servidor está configurado corretamente com algum IP e porta 22. Cada nova conexão com cada novo cliente está usando uma porta diferente. Esta é a única maneira de tornar possível conectar-se de um único computador a vários servidores ao mesmo tempo.