Primeiro eu teria criado um usuário separado para o login do git. No entanto, além disso, provavelmente a maneira mais fácil de gerenciar isso é usar algo como a gitosis, que é uma configuração simples que permite fazer acesso autenticado ao git com permissões granulares.
Isso permitirá que você dê às pessoas:
Sem acesso, somente leitura, leitura escrita. Etc
N.B. acabou de verificar o site dos desenvolvedores e há mais recursos nisto. Vale a pena conferir com certeza o link