Você não pode, com um endereço IP. O servidor não está sendo endereçado pelo nome, apenas pelo endereço. Não importa qual nome de host resolve para o endereço, a mesma conexão acontecerá. A porta também não é usada na resolução de nomes, portanto você não pode afetá-la de qualquer maneira.
A única maneira prática seria colocar os nomes para apontar para IPs diferentes, todos usados no servidor. Isso parecerá que apenas algumas portas são aceitas, mas é claro que o usuário pode alterar o nome do host ou acessar o servidor diretamente por meio do outro IP.