Há um ótimo tutorial sobre como fazer backups incrementais chamados "Easy Automated Snapshot-Style Backups com Linux e Rsync". É um pouco datado, mas parece que pode ser uma boa leitura para o que você está tentando fazer. Aqui está um link: link
Com base no tutorial acima, um utilitário chamado rsnapshot também foi criado: link