Então eu estava tendo dificuldades com o mesmo problema do Basic Auth que não solicitava o navegador. Nenhum forçar um erro personalizado de 401.0 (ou seja, definir explicitamente o subcódigo como 0) ou definir a criação da chave do Registro resolveu isso para mim.
Acabou sendo nosso uso de páginas de erro personalizadas para começar. Desligando-os, tudo funcionou bem, de volta em ... especificamente os erros 401 (0) e 401.2 impediram o prompt.
Definir o tipo de erro personalizado como 'File' de 'ExecuteURL' resolveu, mas se o usuário cancelou o prompt ou digitou uma senha incorreta, eles receberam um genérico "Você não tem permissão para visualizar este diretório ou página" .
Após muitas dicas de vários posts, mas nunca um 'como fazer' ou 'por que' exato ... Eu estava usando um caminho relativo para o arquivo de erro personalizado que estava em um subdiretório do site. Alterar o caminho para um caminho absoluto fez com que o erro genérico acima fosse substituído por "não é possível exibir esta página" se a senha for cancelada ou incorreta. Um pouco mais de escavação e encontrei um post falando sobre um atributo de configuração "allowAbsolutePathsWhenDelegated", que é configurado como false por padrão. Também afirma que, se você colocar o arquivo de erro do cliente na raiz do seu site e, em seguida, no local do erro personalizado, apenas o nome do arquivo (ou seja, caminho relativo à raiz do site), ele funcionará ... , Não queria colocar erros personalizados na raiz do meu site. Então usei o ConfigurationEditor para definir o atributo acima como true, definir o caminho absoluto para os arquivos de erros personalizados e tudo começou a funcionar bem. Prompt permaneceu, exibe erro personalizado quando acionado.
O que eu gostaria é de poder usar o atributo File com um caminho relativo aninhado, mas até agora não descobri por que não posso ou como fazer isso. A outra pergunta é, se usando um caminho absoluto, se eu estou potencialmente criando uma falha de segurança (ou seja, por que isso seria desativado por padrão?)
De qualquer forma, espero que isso ajude alguém.