Quando você rolou sua chave, você teve a opção de proteger esses bits com uma frase secreta. Um agente de senha local pode desbloqueá-lo para você, se quiser.
Você pode querer re-rolar sua chave e, desta vez, usar a senha vazia com ela. Você também precisaria informar ao servidor sobre sua nova chave.