Eu encontrei uma solução executando estes dois comandos na janela que eu gostaria de usar para empurrar para git. Digitar minha senha de chave pública uma vez me permite enviar com autenticação, desde que eu mantenha a janela aberta.
eval $(ssh-agent)
ssh-add
Não é uma solução por si só, mas funciona por enquanto.