Suponho que você abriu o menu de contexto na área de trabalho e selecionou "Criar repositório git aqui ...".
O TortoiseGit faz da pasta actual uma árvore funcional enquanto o TortoiseSVN cria uma nova pasta e coloca o novo repositório nessa pasta. Portanto, crie uma pasta vazia primeiro e crie um repositório lá.
Você pode corrigir isso excluindo o diretório git .git
(pode estar oculto).