Corrigido. Houve dois problemas.
1) O CSR do certificado mostrou claramente nomes alternativos para os dois servidores LDAP individuais. Eu assinei usando o comando openssl usual que utilizo para assinar e nunca verifiquei o certificado em si. Acontece que o certificado não tem os nomes alternativos do assunto, porque eles exigem extensões v3 especiais. Aqui está o comando que eu usei.
openssl x509 -req -days 3650 -in ldap.csr -signkey ldapskey.pem -out cert.pem -extensions v3_req -extfile /etc/ssl/openssl.cnf
2) A senha REDACTED que eu tinha na minha diretiva olcSyncrepl era na verdade o hash SSHA. Parece que não é legal. Eu substitui o hash SSHA pela senha de texto não criptografado.
Ah, e também limpei as sobreposições de syncprov, de modo que apenas uma sobreposição existia em cada um dos bancos de dados reais - não nos bancos de dados de configuração.
BTW, achei um post do Howard Chu onde ele disse que o rid tem que ser único dentro da configuração do servidor, não dentro dos servidores de configuração de espelhamento. Então, sons como rid podem ser 001 em ambos os servidores, mas de qualquer forma, deixei 001 e 002 e não está prejudicando ninguém.