Sim, você pode! Mas é outro caminho onde as configurações do Putty são armazenadas. Onde exatamente a configuração do Putty é armazenada depende do sistema, mas você pode usar um nome de sessão do PuTTY como se usasse um nome de host para o ssh para usá-lo com o git, pelo menos com a porta git para windows. Dessa forma, você pode definir o usuário de login automático ou outros recursos de sessão com o cliente PuTTY, salvar uma sessão com um nome que você possa lembrar e usar o nome da sessão salva como um host git.
O Git for Windows pode usar ambos, um cliente ssh integrado e o cliente putty. Eu nunca tentei isso no linux. Existem vários guias sobre como usar isso quando você pesquisa na internet.