Você não pode. Por um lado, as ramificações não são para separar partes de todo o programa; eles são apenas para manter várias séries de alterações separadas até que sejam mescladas ao branch master e todas conterão a árvore de arquivos inteira nesse repositório. Por outro lado, para trabalhar com um Git , um desenvolvedor precisa clonar o repositório inteiro do servidor primeiro.
Se houver várias partes que devem ser mantidas separadas (mesmo que eu não entenda isso) , você deve mantê-las em repositórios Git separados.