Você colocou uma senha em sua chave local. Você precisa remover a frase secreta (não é realmente recomendada, a menos que seja um par de chaves de uso único) ou executar um user-agent que essencialmente "lembre" que você descriptografou a chave uma vez e não pediu para fazer isso novamente. O ssh-agent é o que vem com o openssh. O procedimento usual é configurar o ssh-agent para iniciar automaticamente no login.