Frases secretas de GPG não são armazenadas em cache em nenhum lugar do disco. Se eles fossem, isso seria um enorme buraco de segurança. Eles podem ser temporariamente armazenados na memória para evitar o incômodo de digitá-lo, se você definir a opção relevante.
Se você perdeu a frase secreta de sua chave privada, sua chave ficará inutilizável, pois não há como recuperar uma frase secreta.