Você já tentou:
gpg --export-secret-key
Isso deve ser feito. Você pode ter que fornecer o ID da chave que deseja exportar. E talvez também forneça --armor se você quiser em um ASCII legal.
Você não precisa da chave pública porque a chave pública sempre pode ser gerada de forma trivial a partir da chave privada.
Manter um backup é provavelmente uma ideia sensata. Também tenho a tendência de gerar uma assinatura de revogação (a opção --gen-revoke ) que não publico e manter esse backup também, muitas vezes em um local separado. Isso me permite revogar a chave se eu a perder ou se comprometer de alguma outra forma.
Eu recomendo strongmente que você mantenha o backup da chave off-line.