"Requer certificados de cliente" não exige SSL, requer que o cliente tenha um certificado para autenticar no servidor. Em seguida, você precisa do mapeamento de certificado do IIS ou do mapeamento de certificado do AD para que o cliente seja autenticado com êxito. O que eu estou supondo não é o caso aqui.
Além disso, usar um certificado autoassinado exigirá que o certificado seja de confiança de todos os clientes (ou seja, instalado no armazenamento de CAs raiz confiáveis).
Defina-o para exigir SSL, e Ignore certificados do cliente, e tudo deve ficar bem.