O erro sugere que você tenha criptografado o arquivo PEM e, portanto, requer que uma senha seja usada (e não esteja sendo usada). Você pode usar tais certs com o MongoDB, mas você tem que decidir como você passar a frase secreta - você pode fazê-lo através da linha de comando, do arquivo de configuração ou da solicitação (embora isso exija uma inicialização interativa, é claro). Alternativamente, você pode remover a senha do arquivo PEM com um comando como:
openssl rsa -in /etc/ssl/private/example.key -out /etc/ssl/private/example.nocrypt.key
Você será perguntado pela frase secreta neste ponto e, em seguida, o arquivo de saída não terá senha.