Para o PGP, cuja criptografia é fundamentalmente semelhante ao que o SSH faz com chaves públicas, são oferecidos servidores de chave pública. Através deles, o objetivo é propagar as chaves públicas o mais amplamente possível.
É inviável fazer engenharia reversa de uma chave privada a partir de uma chave pública. Na verdade, esse é o ponto principal da criptografia de chave pública: dados os comprimentos de chave apropriados, isso não pode ser feito, e os dados estarão seguros, não importando o quanto a chave pública seja compartilhada.
(Note que "isso simplesmente não pode ser feito" depende de suposições certamente amplamente aceitas sobre matemática superior não sendo provadas como falsas. Mas se isso acontecer, você terá coisas maiores para se preocupar ...)