Por padrão, um cliente não deve ter problemas para se conectar a um servidor remoto, independentemente da porta. Pelo som das coisas, parece mais um Roteador ou Firewall na sua conexão de rede que pode estar bloqueando a restrição da conexão.
Gostaria de verificar seu roteador para quaisquer regras ou restrições em vigor.