O OpenPGP é um protocolo não implementado pelo OpenSSL, incluindo um modo derivado de criptografia simétrica. Enquanto você poderia usar o OpenSSL para os algoritmos criptográficos reais, para implementar o OpenPGP com comandos OpenSSL, você teria que:
- Escreva um analisador para o formato de mensagem do OpenPGP
- Escreva sua própria implementação do modo OpenPGP CFB
- Cuide de um monte de detalhes sobre segurança e compatibilidade
- Coloque tudo junto
Não escreva seu próprio código de criptografia (este não é um projeto pequeno aqui), confie nas bibliotecas disponíveis. Existe o GnuPG que pode ser conectado com o GPGME, e um monte de interfaces GPGME e bibliotecas nativas para praticamente todas (mais ou menos) importantes linguagens de programação.