SSH auth é a maneira mais comum de fazer isso. Mesmo que pareça um pouco complexo para você, tente dar uma olhada em algo chamado 'gitolite'. Isso torna o processo bastante simples (basicamente, você tem um arquivo semelhante a um arquivo SVN authz padrão e outro diretório cheio de chaves SSH).
Eu não acho que haja outra maneira de fazer isso, tudo depende de chaves SSH porque é uma maneira confiável de fazer isso.