Você pode rodar isso no git bash:
eval 'ssh-agent -s'
ssh-add ~/.ssh/*_rsa
ele pedirá a frase secreta no segundo comando, e é isso. Cada ação adicional que você precisará fazer (que uma vez exigiu a frase secreta) não pedirá a frase secreta (veja um exemplo na captura de tela abaixo):