Eu, pessoalmente, instalei msysgit
com TortoiseGit
e trabalhei perfeitamente o tempo todo.
Ele é atualizado com mais frequência e se integra perfeitamente ao TortoiseGit
.
EDITAR : No msysgit de 2016, a versão não é mais recomendada. Agora redireciona para o link , agora baixe o Git do link