Funcionou!
Meu arquivo .ssh\config
estava referenciando o arquivo de identidade (chave privada ssh) com um caminho de casa, eu mudei para um caminho absoluto e o console e o tortoise-git começaram a trabalhar:)
IdentityFile ~/.ssh/id_rsa
alterado para
IdentityFile C:\Users\user.name\.ssh\id_rsa