Você deseja usar ssh-agent - este é um cenário exato para o qual foi criado.
ssh-agent fornece o encaminhamento de autenticação quando você usa o ssh para acessar um servidor remoto.
Depois de configurá-lo, você pode acessar o servidor remoto (usando -A para encaminhar o agente) e depois fazer o git pull. Ele encaminhará a solicitação de autenticação de volta para sua máquina local.