Você deve configurar o serviço ssh-agent para iniciar automaticamente (ou você pode iniciá-lo manualmente toda vez que abrir o seu PowerShell pela primeira vez: Start-Service ssh-agent).
Depois disso, você precisa ssh-add C:\path\to\your\ssh\key\id_rsa
apenas uma vez. Depois disso, toda vez que o agente ssh for iniciado, a chave estará lá. Você pode verificar com 'ssh-add -l'.