O Balanceador de carga do Azure é um balanceador de camada 4 e pode balancear o tráfego TCP e UDP. Portanto, ele não suporta o descarregamento de SSL.
O Application Gateway pode balancear na Camada 7, portanto, pode fazer o descarregamento de SSL. Isso significa que você só precisa fazer o upload do certificado para o App Gateway.
Se você quiser ficar com o LB, todas as suas VMs precisarão do certificado. Você deve ser capaz de balancear na porta 443 sem problemas. Você precisará de uma regra de balanceamento e de uma sonda de integridade, e precisará permitir o tráfego para a 443 da Internet nos Grupos de segurança de rede.