Eu tive que adicionar um ponto de extremidade de Carga Equilibrada nas duas máquinas virtuais no Painel de Gerenciamento do Azure. Erro muito bobo.
Além disso, cada máquina virtual precisa ter um endpoint válido, para mim foi <address>/healthcheck
. Tudo o que esse endpoint precisa fazer é sempre retornar um non-cache-able response with status 200
. Nada mais é necessário, o balanceador de carga interna do Azure manipula o restante.