O diagrama nessa página mostra que o seu cliente se conecta à porta 21 para falar sobre a conexão, então os dados que você baixa são enviados da porta do servidor 20 para o seu cliente na porta 1027. Do ponto de vista do seu cliente, ele sabe
1) ele se conecta à porta 21 da porta 1026 (conexão 1 no diagrama) 2) os dados baixados aparecem na porta 1027 (conexão 3 no diagrama)
O cliente não necessariamente se preocupa com o envio dos dados da porta do servidor 20, portanto, isso pode não ser registrado.
Se você fizer o upload de dados para o servidor, poderá ver uma referência da porta 20 no cliente, porque o cliente precisará se conectar à porta 20 (conexão 4 no diagrama).