Você provavelmente está tentando usar um grupo que não tenha o escopo adequado para ver os membros do domínio confiável.
Se essa for uma confiança entre florestas, o único tipo de grupo que você poderá usar para atribuir usuários de permissões de domínio b no domínio 'a' é um domínio local.
Se essa não for uma confiança entre florestas, você poderá usar o Domínio Local ou Universal.
A Microsoft tem um bom Artigo sobre o Technet sobre o escopo do grupo.