Para responder à sua segunda pergunta primeiro:
Como você ainda usa o NTLM, leia sobre o fluxo de NTLM em um ambiente multi-domínio pode ajudá-lo um pouco com isso. O IIS entrará em contato com um Controlador de domínio (DC) em seu domínio, que por sua vez contatará um DC no domínio confiável.
O DC confiante faz uma pesquisa de DNS no nome do domínio confiável e envia solicitações LDAP e NetBIOS para todos os DCs retornados por essa consulta. O primeiro que responde "ganha". É provável que você esteja vendo algum não-determinismo nesse processo. Você poderia influenciar esse processo fazendo monkeying com DNS.
Localizar o DC de autenticação será uma questão de capturar o tráfego de autenticação ou assistir ao Registro de Eventos de Segurança de todos os DCs nos quais a autenticação poderia estar ocorrendo.