Atualmente, a única maneira de "recuperar" a chave privada da chave pública é por busca exaustiva (força bruta). O sistema foi especificamente projetado dessa forma para que você possa emitir sua chave pública para qualquer pessoa sem se preocupar com a possibilidade de descobrir sua chave privada.
Editar:
Aviso! Explicação simplificada à frente!
Supondo que você tenha chaves RSA (a mais comum), a chave pública possui dois números: n e e. A chave privada tem o mesmo n e outro número d. Originalmente, havia dois números primos enormes p e q que eram usados para calcular n, d e e, de modo que n e e pudessem criptografar um texto; n e d poderiam descriptografar o texto cifrado. Você tem n e e. Você pode fatorar n para descobrir peq; o problema é que n é um número enorme com toneladas de números possíveis de peq. Atualmente não há maneira conhecida de fazer isso rapidamente; Não tenho certeza se os hackers se incomodaram em escrever ferramentas para tentar. Então, em essência, não é realisticamente impossível.
Quando você atribui uma senha a uma chave, ela apenas faz uma criptografia simples na chave privada armazenada em seu computador. A chave pública não é afetada por isso. As senhas são relativamente fáceis de quebrar em comparação com a chave privada em si; então isso não deve ser confiável para a segurança primária (você deve manter sua chave privada apenas em locais seguros).