Bem, eu entendo. O problema no plugin do CardBook com validação ao adicionar o addressbook foi que eu usei o ceritifcate auto-assinado. Então você tem que adicionar a exceção de certificado do servidor no cliente de email (no meu caso, o Thunderbird) manualmente. Então o processo de validação está funcionando. E agora você tem acesso de leitura / gravação aos seus contatos no Zimbra.
FYI: se você usar a porta, por exemplo, a porta 8443, seu URL será: link