Aparentemente, atribuir um SP ao papel de 'Proprietário' não é suficiente. Você tem o papel de "Directory Readers". Isso não é possível usando o CLI ou o Portal do Azure. Você precisa usar a API de gráficos do Azure AD, a maneira mais fácil de fazer isso é usar o link .
Em segundo lugar, você não pode usar o site graphexplorer usando sua própria conta do Azure (no meu caso, eu tinha uma configuração simples do Azure pessoal somente com o administrador), mas você precisa criar um usuário no AD do Azure. Dei-lhe o papel de Administrador Global apenas para ter certeza, não tenho certeza qual seria o papel mínimo para poder usar a API do Graph.
Agora, as etapas para adicionar ao SP a função de Leitores de Diretório são um pouco longas para explicar aqui, eu as encontrei aqui:
Não sei por que isso precisa ser tão complicado e por que isso não pode ser encontrado na documentação.