Vejo que você já iniciou excluindo determinados caminhos do seu backup, com --exclude . Um dos mais úteis sinalizadores de rsync que eu encontrei é o -F , que simplesmente permite que você coloque essas listas de padrões de arquivo de exclusão em qualquer lugar de sua árvore de código.
Por exemplo, eu tenho muitos diretórios onde há arquivos C que eu quero fazer backup, mas não os objetos, ou git diretórios onde eu não quero o backup do .git, etc. Em qualquer diretório eu posso colocar um arquivo .rsync-filter que contém padrões, como --excluir, para esse diretório (e todos os subdiretórios, como de costume, dependendo do seu padrão). rsync -F procurará por esses arquivos e obedecerá às regras de exclusão (ou inclusão) neles.
As regras de filtragem são um pouco difíceis de dominar, mas se você mantiver os casos simples e sempre testar com -nv , poderá reduzir seus backups para algo pequeno e útil.