Como uma resposta.
cmdlet do Powershell para desativar o Firewall do Windows:
Get-NetFirewallProfile | Set-NetFirewallProfile –Enabled False
Então, tudo o que você precisa fazer é conectar e remover a regra problemática.
Em uma VM do Azure, editei a regra do Firewall do Windows "RemoteDesktop-UserMode-In-TCP" para que apenas nosso endereço IP remoto tivesse acesso permitido. Para fazer isso eu também tive que selecionar Geral > Ação > Permita a conexão se estiver segura. Por algum motivo, apesar de fornecer o endereço IP correto, a conexão caiu e não consigo fazer logon desde então. Eu tentei as etapas no link sem .
Como posso excluir / recriar a regra de firewall RDP padrão do Azure Powershell?