No Visual Studio, vá para
Tools > Options > Source Control
Altere o plug-in para "Microsoft Git Provider" e, em seguida, pressione Ok. A janela da solução agora deve mostrar opções para inserir suas configurações padrão do Git.
NB - De acordo com este post do Visual Studio, o Visual Studio 2013 inclui ferramentas Git por padrão, então isso não será necessário.