Não é assim que o GPG funciona.
Você criptografa um arquivo com uma chave pública (pode ser sua) e descriptografa-o com uma chave privada.
Portanto, se você compartilhar sua chave pública na Internet, qualquer pessoa poderá criptografar um arquivo com sua chave pública, mas você será o único capaz de descriptografá-lo.
Veja: link