Você entendeu mal os números de porta severamente: um servidor escuta apenas em uma porta e pode ter um grande número de soquetes abertos de clientes que se conectam a essa porta.
No nível TCP, a tupla (ip de origem, porta de origem, ip de destino, porta de destino) deve ser única para cada conexão simultânea. Isso significa que um único cliente não pode abrir mais de 65535 conexões simultâneas para um servidor. Mas um servidor pode (teoricamente) server 65535 conexões simultâneas por cliente .
Portanto, na prática, o servidor é limitado apenas pela quantidade de energia da CPU, memória, etc., que precisa atender às solicitações, não pelo número de conexões TCP ao servidor.