Por padrão, o MySQL não é incluído na criação de um aplicativo da Web, portanto, é necessário usar o serviço Banco de Dados do Azure para MySQL. No entanto, ao criar seu aplicativo da Web, procure por "Web App + MySQL" e selecione "MySQL in App" como seu provedor de banco de dados.
Tenha isso em mente: "O MySQL In App executa uma instância local do MySQL com seu aplicativo e compartilha recursos do plano do Serviço de Aplicativo. Observe que os aplicativos que usam o MySQL In App não se destinam a ambientes de produção e não instância única. "
Veja o anúncio do produto do blog da equipe do serviço de aplicativos.