Você geralmente não coloca uma chave privada em um PEM, porque as chaves privadas devem ser criptografadas "em repouso" (no disco), e o PEM é geralmente para objetos não criptografados.
Você geralmente coloca uma chave privada e sua cadeia de certificados associada em um arquivo .p12 / .pfx (PKCS # 12).
Eu acho que é algo como isto (advertência: Eu não tentei isso sozinho, YMMV):
openssl pkcs12 -export -in file.pem -inkey keyfile.pem -chain -out file.p12