Sim, você precisará comprar o domínio que deseja usar de um registrador. Você precisará então delegar o domínio ou um subdomínio ao seu servidor de nomes. Os detalhes de configuração são um pouco demais para entrar aqui.
No entanto, você pode querer repensar a exposição do seu servidor RDP diretamente à Internet. Isso é uma enorme dor de cabeça de segurança. Uma VPN pode ser mais adequada para isso, e então você só precisa ter o domínio (que você ainda precisa se registrar) ter um registro A para o IP público do seu endpoint VPN.