Sua pergunta fala sobre duas coisas: pings e conectividade.
Os pings não são compatíveis com o balanceador de carga, e é por isso que sua VM não pode fazer ping no outro através de seu endereço IP público (o ICMP não é compatível com tráfego de entrada ou saída por meio do balanceador de carga). Ping funciona na rede interna (dentro do mesmo serviço de nuvem ou através de uma rede virtual).
Agora ligado à conectividade: você pode abrir as portas TCP e UDP externamente, permitindo que o tráfego flua para uma VM (na porta igual ou diferente). Enquanto esses pontos de extremidade externos forem abertos, você poderá se conectar por meio desses pontos de extremidade. Você também pode aplicar listas de controle de acesso (ACLs) aos pontos de extremidade para filtrar o tráfego com base nos endereços IP de entrada. Então ... da VM em que você se transformou em RDP: enquanto você não pode fazer ping na sua segunda máquina através de seu endereço IP público, você pode conectar-se via protocolos baseados em TCP ou UDP (telnet, ssh, a conexão de banco de dados, qualquer que seja).
Se você usar a rota VNet, cada VM na VNet poderá se conectar às outras VMs na VNet sem se preocupar com os endpoints externos abertos. Além disso, como seu tráfego não seria mais roteado pelo balanceador de carga, você teria outros protocolos (como o ICMP para ping) funcionando.