Isso está correto. No entanto, existe uma opção com o Azure AD Premium P1 para adicionar um grupo de segurança "todos os usuários". Eu esperaria que você veria isso, pois é criado como um grupo de segurança real no diretório. Este grupo, no entanto, também inclui usuários convidados (é literalmente todos os usuários no diretório).
Dito isto, se tiver licença premium, pode utilizar um grupo dinâmico para criar o seu próprio grupo, que contém apenas os utilizadores do seu domínio.