A "melhor e mais segura forma" é provavelmente fazer um git pull
quando você usa a cópia de trabalho do servidor remoto, ou adiciona o servidor como um git "remote" & empurre para isto simultaneamente.
Como alternativa, a chave pública sem senha funcionará. Eu sugeriria usar uma chave diferente da que você usa para qualquer outra coisa & configurar o SSH para permitir apenas comandos forçados quando você efetuar login com essa chave (adicione command="...."
à parte de opções de authorized_keys supondo que você esteja usando o OpenSSH), dessa forma mesmo que sua chave esteja comprometida eles podem fazer é atualizar seu repositório git.