A alteração do diretório requer a permissão x no diretório. A permissão r permite que você use ls do diretório, mas não cd .
Experimente chmod g+x /home/git
Isso pode parecer um pouco confuso, mas a permissão x foi reutilizada para essa finalidade porque não faz sentido "executar" um diretório. Como esse bit não tem propósito para diretórios, ele pode ser usado para controlar o acesso ao diretório de alterações.