Se você não excluiu o arquivo ~/.ssh/id_rsa.old
, essa é a sua chave antiga sem senha ("não criptografada").
Caso contrário, para remover uma frase secreta do arquivo de chaves, use o comando
openssl pkey -in ~/.ssh/id_rsa -out ~/.ssh/id_rsa_unencrypted
Você será solicitado a inserir a senha.
EDIT: altere os nomes dos arquivos para ficar mais claro.