Você precisa do utilitário gpgsm, mas, sim, você pode.
gpgsm -o secret-key.p12 --export-secret-key-p12 0xXXXXXXXX
Ele contém chaves e certificados. Então você pode dividi-los com openSSL e transformá-lo em .pem ao mesmo tempo
openssl pkcs12 -in secret-key.p12 -nocerts -out gpg-key.pem
openssl pkcs12 -in secret-key.p12 -nokeys -out gpg-certs.pem