Sim. A única coisa que importa para a criptografia assimétrica são as próprias chaves. Alice criptografa algo usando a chave pública de Bob, e apenas Bob com a posse de sua chave privada pode descriptografar a transmissão e recuperar o texto original de Alice.
Já que as chaves privadas são muito sensíveis, não é uma boa idéia deixá-las por perto (no seu disco ou diretório pessoal). Eles precisam ser protegidos. Então, nós os envolvemos usando criptografia simétrica usando uma frase secreta. Dessa forma, temos duas camadas de segurança: para descriptografar os dados, o atacante precisa de algo que você tenha (a chave privada criptografada) e algo que você conhece (a senha para desbloquear a chave privada).
A alteração da frase secreta de uma chave privada basicamente a desativa da proteção antiga e cria uma nova proteção com a nova frase secreta. A frase secreta nunca é usada na transmissão dos dados entre as duas partes.