Seu entendimento está correto.
Uma porta do servidor pode sempre ser acessada por vários clientes, porque uma sessão TCP é identificada por 4 elementos: endereço IP do cliente + porta do cliente + endereço IP do servidor + porta do servidor , não pela porta do servidor somente.
Há também um modo passivo de FTP, no qual é o cliente que inicia a conexão de dados a uma porta efêmera no servidor. Isso permite passar o tráfego FTP por meio de alguns dispositivos de firewall ou NAT.