Estou tendo o mesmo tipo de problema.
Quando eu coloco meu
SSLVerifyClient require
SSLVerifyDepth 1
dentro de uma diretiva <Directory>
é lento e recebo mensagens de re-negociação no log de erros.
Se eu mover essas diretivas para o nível superior (abaixo), tudo funcionará como um encanto.