Se o seu servidor TeamCity estiver conectado à Internet, tudo o que você precisa fazer é garantir que você tenha uma entrada de DNS para teamcity.mydomain.com
que resolve o endereço IP público do seu servidor.
Se o seu servidor TeamCity estiver por trás de um dispositivo de gateway (firewall, roteador, etc), você ainda precisará criar a entrada DNS mencionada anteriormente, mas deverá resolvê-la para o IP público do seu dispositivo de gateway. Em seguida, você configura uma regra no seu gateway para encaminhar solicitações ao seu servidor TeamCity.
EDITAR:
Outro pensamento seria configurar um proxy reverso que você poderia usar para reescrever a URL para adicionar a porta.