Você simplesmente precisa enviar seu favicon.ico para a pasta assets (como você adivinhou). Nada precisa mudar em relação ao IIS ou à permissão.
Eu apenas testei isso para verificar e funcionou. Meu caminho de recurso de tema exato no meu Azure Web App (anteriormente conhecido como Websites do Azure), conforme visto por meio do kudu:
D:\home\site\wwwroot\content\themes\casper\assets>
Fiz o ftp em meu site, naveguei para site\wwwroot\content\themes\casper\assets , mudei para o modo de transferência binary e coloquei o arquivo favicon.ico lá.
Entãoeupegueiodefault.hbsviakudunonavegadoremodifiqueiolinkdoícone,assimcomovocêfez:
Aúltimacoisaquefiz:esvazieiocacheeohistóricodomeunavegadorparaomeubloge,emseguida,orecarreguei.E...Meunovoíconeapareceu.Eucrieiumdoodleparaoícone,parafinsdeteste,queagoraaparecenaminhaguiadonavegador:
FYI Não tenho certeza se você está usando o kudu (que é https://yoursitename.scm.azurewebsites.net ) - isso facilita a navegação. Basta visitar e abrir uma janela cmd (no menu Debug Console).