A configuração do Proxy do ADFS estava errada. Em primeiro lugar, não consegui encontrar o certificado com impressão digital especificado na exceção (81E6CF17894A85B134D12DBEDE0E07CDC2F57FD3). Em segundo lugar, não consegui alterar o endereço do proxy. Encontrei ajuda neste artigo excelente (coisas que não são atualizadas ao alterar um URL do AD FS Windows Server 2012 R2) informações que:
I’ve completely un/re-installed the Web Application Proxy, but the Web Application Proxy configuration data that AD FS holds has never been updated through any of these changes, even after uninstalling and reinstalling it.
Então eu executei este comando e ele funciona.
Install-WebApplicationProxy -CertificateThumbprint "B2CorrectThumbprint " -FederationServiceName "federation_service_name"