excluindo arquivos grandes ao usar o git tracking de arquivos de ponto

Question

Para fazer backup e compartilhar dotfiles, criei um repositório git no ~ com o seguinte conteúdo no meu arquivo .gitignore:

#.gitignore
*

Agora, quando quero rastrear algo, faço por exemplo um add com force para que o gitignore seja ignorado para essa solicitação:

$ git add --force .config

O problema agora é que alguns subdiretórios contêm arquivos muito grandes que também não são necessários para serem rastreados. Como:

.config/VirtualBox/VBoxGuestAdditions_5.1.12.iso
or
.config/Code/Cache/f_000017
or
.IdeaIC2018.1/system/index/.persistent/idindex/values.values

Como posso excluir esses diretórios? Mesmo quando eu coloco alguns sub-gitignores nos diretórios, ele não pode funcionar, já que eu forço a ignorar todas as ignições.