Você deve conseguir alterar a regra de Firewall do RDP para usar somente interfaces 'Remotas'
Na regra de firewall do RDP, vá em Advanced
e personalize o tipo de interface para apenas remote access
Se o servidor for realmente remoto, digamos, no Azure, certifique-se de que você ainda possa acessar o servidor por outros meios ao configurá-lo, caso haja problemas em que você esteja bloqueado! Sempre pode remover isso depois que tudo estiver funcionando.