Se você puder definir variáveis de ambiente, eu tentarei primeiro algo como
export GIT_SSH_COMMAND="ssh -F /path/to/config"
No entanto, isso só funcionará com o Git 2.3+. Supondo que você esteja em uma versão mais antiga, você precisará de algo um pouco mais envolvido:
echo "ssh -F /path/to/config-file" > /some/path/git-ssh-wrapper
chmod +x /some/path/git-ssh-wrapper
export GIT_SSH="/some/path/git-ssh-wrapper"
Isso ocorre porque (da página man do git):
To pass options to the program that you want to list in GIT_SSH you will need to wrap the program and options into a shell script, then set GIT_SSH to refer to the shell script