Eu tenho um fluxo de trabalho semelhante, mas uso a gitosis para gerenciar o repositório no meu VPS.
Eu uso o msysgit bash com o caminho do windows e plink como você sugere acima, mas além disso eu uso pagent para gerenciar a chave SSH.
Para acessar meus repositórios, esta é a ordem que eu tomo,
- Abra o Pagent e acesse minha chave (você só insere a senha aqui uma vez, se tiver uma, e mesmo se fizer isso, ela será lembrada por toda a sessão).
- Em seguida, abra o Git bash e adicione / commit / push / pull / clone normalmente.
Uma ressalva que eu vou ter é que eu tive que converter a chave que eu criei com o Git bash usando o Putty Gen (disponível no mesmo link acima) para que o Pagent pudesse usá-lo.