De acordo com sua descrição, eu testei no meu laboratório. Talvez você possa usar o NSG para atingir seu cenário. O NSG do Azure suporta intervalos de IP . Você pode configurar as regras do NSG no Portal do Azure, como abaixo:
Paraomeuteste,osintervalosdeIP167.220.250.0/24podemacessarminhaVM,outrosintervalosdeIPnãopuderamacessá-lo.ParamaisinformaçõessobreoNSG,consulteo