Tornar sua chave pública realmente pública, naturalmente, tornará seu par de chaves menos seguro do que se a chave pública também fosse secreta. Ninguém pode escolher um cadeado se eles nunca viram a fechadura.
Mas mesmo que alguém tenha sua chave pública, ainda não existe uma opção conhecida e viável de encontrar sua chave privada com base nela.
É claro que, se alguém amanhã encontrar uma maneira de calcular a chave privada com base na sua chave pública, seria mais seguro nunca entregar a chave pública. Mas isso simplesmente não vai acontecer. E se isso acontecer, ninguém vai se importar com a sua chave pública, acredite em mim: P