Eu, pessoalmente, instalei msysgit com TortoiseGit e trabalhei perfeitamente o tempo todo.
Ele é atualizado com mais frequência e se integra perfeitamente ao TortoiseGit .
EDITAR : No msysgit de 2016, a versão não é mais recomendada. Agora redireciona para o link , agora baixe o Git do link