No TeamCity você pode configurar um modelo de configuração de compilação e criar configurações de acordo com esse modelo. Existe uma maneira de exportar esse modelo para armazená-lo em um sistema de controle de origem, por exemplo, para reinstalar o TeamCity do zero, basta importar os modelos em vez de recriá-los manualmente?
Se você executar o TeamCity no Windows e quiser usar o Git para controlar sua configuração, você pode usar este serviço do Windows que eu escrevi, que monitora a pasta de configuração para alterações e as confirma para o git. O projeto está no GitHub: link
Tags teamcity