Criptografia assimétrica significa que você usa uma chave para criptografar e APENAS a outra chave correspondente pode ser descriptografada. Você não usa sua chave pública para criptografar uma mensagem que deseja enviar para alguém. Você usa sua chave pública. A mensagem só poderá ser descriptografada pela sua chave privada.
Se eles quiserem enviar uma resposta para você, eles usam sua chave pública, criando uma mensagem que só pode ser descriptografada por sua chave privada.