Com a ajuda do Pierre de aqui , a resposta foi:
É por causa do SNI. O nome do host no cabeçalho HTTP deve ser o nome do farm para alcançá-lo.
Se você quiser testar se seu segundo servidor funciona, em sua estação de trabalho, crie uma entrada em seu arquivo HOSTS com:
Por exemplo, se o endereço IP dos servidores do ADFS for 10.0.0.1 e 10.0.0.2. O IP do cluster é 10.0.0.3. E o nome do farm é adfs.contoso.com, crie uma entrada como:
10.0.0.2 adfs.contoso.com