Você não deve precisar instalar um servidor Git em sua máquina local para trabalhar com o Git. O Git é um sistema de controle de versão distribuído (DVCS), por isso não há idéia de um cliente e um servidor. Em vez disso, você só tem clientes, quantos clientes quiser, que podem conversar entre si.
Então, quando você digita git init em um diretório e cria um repositório git, você tem tudo o que precisa para confirmar, mesclar, ramificar e, finalmente, usar o git. Para todos os fins intensivos, esta é a fonte mestra, a fonte "deus", equivalente ao servidor SVN. Ao contrário da subversão, onde há uma fonte centralizada, apenas um verdadeiro "deus" / cópia mestre, o Git funciona de uma forma que todos que clonam um repositório git possuem sua própria cópia "deus" / mestre. Então, quando você compartilha código, cada pessoa recebe o equivalente teórico de um servidor SVN em sua máquina na forma de um repositório git portátil. Isso difere strongmente do modelo centralizado (e empresta a sua natureza distribuída) onde, se a sua fonte for excluída, ela não afetará mais ninguém. De fato, se você perder sua fonte, você pode clonar de outra pessoa que tenha uma cópia do repositório e continuar como se nada tivesse acontecido. Contanto que N + 1 pessoas tenham uma cópia do código, se todos N perderem, o código continuará vivo.
O que a maioria das ferramentas DVCS fornece é uma flexibilidade de fluxo de trabalho. Muitas pessoas adotam um fluxo de trabalho centralizado usando serviços como GitHub ou Bitbucket para hospedar uma cópia remota de seu repositório. Nesta configuração ainda existem fundamentalmente apenas dois repositórios git. Um na sua máquina e outro nos servidores remotos de serviços. Recomendo vivamente a leitura do livro git-scm antes de começar a familiarizar-se com o que é o git, como funciona e como usá-lo.