Eu percebi isso. Nas minhas configurações do Apache, eu mudei:
SSLCACertificatePath
a ~~~~~~/ca/certs/ca.cert.pem
SSLVerifyDepth 1
a SSLVerifyDepth 10
E a coisa mais importante que eu mudei foi converter meus certificados de cliente de pem para pfx