Eu suspeito que sua chave privada ssh esteja sendo desbloqueada pela configuração ssh-agent pelo seu login na máquina Ubuntu, enquanto sua conexão putty / ssh não está configurando um agente ssh corretamente para obter acesso à sua chave privada .
Você pode tentar executar eval $(ssh-agent) e ssh-add para configurar um agente em sua conexão ssh.
Estou surpreso que git não esteja pedindo sua senha neste caso?