Apenas um palpite, mas talvez você esteja alterando nomes de diretório. Se você tiver 100GB no diretório A e renomear o diretório para B, então o rdiff-backup terá que copiar os 100 GB inteiros novamente e registrar os nomes de todos os arquivos que desapareceram do diretório A
.