Parece que você está tentando usar o SSL do lado do cliente em vez do lado do servidor; o cliente se identifica usando um certificado em vez de uma senha.
Observe que a implementação do OpenLDAP SSL é bastante complicada - demorei um bom tempo para descobrir que ela é certificada SSL CERTIFICA que ela libera privilégios, portanto, os SSL-certs precisam ter permissões de leitura para o usuário do OpenLDAP ...