Você provavelmente tem problemas com o SELinux. Supondo que você tem ênfase na segurança (você está trabalhando em um loopback ssh depois de tudo) e não quer desabilitá-lo, faça o seguinte como root:
restorecon -R -v /home/git/.ssh
Se você quiser desativá-lo, edite o / etc / selinux / config e defina SELINUX = permissivo nele.