Se eu entendi corretamente, o que você quer fazer é possível com o bazar (e provavelmente outros sistemas de controle de versão). Executar:
bzr init /path/to/dir
cd /path/to/dir
bzr ignore "*"
bzr ci -m "Initial commit."
Isso colocará o diretório no controle de versão, mas nenhum dos arquivos reais será versionado. Mais tarde, quando você quiser adicionar um arquivo específico ao repositório, execute bzr add file
Isso é o que eu fiz com meu diretório pessoal .