Isso é mais provável porque o IE usará suas credenciais autenticadas em vez da conta de usuário anônimo. Se o seu usuário autenticado não tiver acesso, ele falhará. Uma solução é adicionar seu usuário autenticado à pasta raiz do site. Com o IE, suas credenciais que você está usando na rede passarão para o site, mas com os outros navegadores ele solicitará um novo conjunto de credenciais.
Seu link no terceiro comentário parece uma boa pista. Você tentou desligar Negociar e ver o que acontece? Alterar as zonas de confiança e intranet no 4º link também é uma boa ideia.
btw, No Windows Server 2008, o IIS_IUSRS é atendido virtualmente na hora, portanto, adicionar IUSRS não faz mal a nada, mas também não é necessário.