É muito difícil resolver seu problema a partir de sua descrição, mas, pelo menos, as coisas estão funcionando conforme o esperado.
Se você quiser automatizar uma tarefa, você geralmente garante que a chave não tenha uma frase secreta nela. O que provavelmente está acontecendo é que quando você está logado, sua senha é lembrada pelo sistema (ssh-agent ou pageant são programas comuns para fazer isso, sem dúvida, existem outros). Eu imagino que quando você fizer o logoff de sua frase-senha está sendo removida da memória, então você será solicitado novamente.
A solução seria usar outra chave que não tenha uma senha anexada.