Sim, você pode conseguir isso apenas com o endereço IP privado da vm. você não precisa fazer nada (a menos que você bloqueie especificamente o tráfego dentro do vnet com o nsg). você pode remover o endereço IP público e ele só funcionará
se você bloquear o tráfego dentro do vnet, você precisará adicionar a regra de permissão à porta 3389 (ou qualquer que seja sua porta rdp) do intervalo vpn p2s