Eu não acho que o cron tenha acesso à sua frase secreta e é por isso que você não pode entrar no seu servidor remoto. A melhor maneira de conseguir isso é configurar uma nova chave sem frase secreta.
O uso de uma chave sem uma frase secreta é menos seguro, mas você pode limitar seu uso. Veja a seção AUTHORIZED_KEYS FILE FORMAT no manual do sshd .