Tudo o que foi necessário foi um novo registro. Tive que ir para a interface DNS do provedor de domínio, editar o arquivo Zona DNS, adicionar um novo registro A (mydc) que aponta para o IP público da minha VM.
Menos de 2 minutos depois, o whatsmydns.net mostra que mydc.mydomain.com resolve em todo o lado este IP público. O RDP para a VM agora está disponível em mydc.mydomain.com:[Azure RDP Endpoint].