Não, os sites do Azure não oferecem uma maneira de limitar a largura de banda explicitamente. Você pode "implicitamente" limitar a largura de banda usando instâncias menores, que têm menos throughput.
Por que você está tentando limitar a largura de banda de saída? É por conter custos?
(Isenção de responsabilidade: Eu trabalho para a equipe de campo do Azure na Microsoft Canada)