How do I setup DNS records on the server so that the traffic is routed correctly?
Você não faz isso. O DNS só pode apontar um nome de domínio para um IP. Ou vários domínios para o mesmo IP.
O que você está procurando é o BINDING no IIS - onde você informa qual HOST NAME (nome de domínio) é roteado para qual website. O DNS nesse ponto não está envolvido de forma alguma - esse tempo na requisição já passou há muito tempo.