Eu resolvi o problema sozinho. Gitolite soa muito bem, mas é muito sobrecarga para o meu problema.
Eu apenas criei um novo usuário no meu servidor e mudei seu shell para o git-shell como este
chsh -s /usr/bin/git-shell gituser
Agora eu criei um git e assegurei que o usuário tem os direitos necessários para a pasta.