Tenho trabalhado com o OpenSSL desde janeiro e percebi o mesmo ao assinar solicitações de certificado. Parece que o OpenSSL tem bugs se um certificado DER for usado para determinadas operações. Por esse motivo, uso principalmente certificados codificados no PEM.