Rdiff-backup inicial em conexão lenta / dados grandes (poderia executar um rsync antes da ajuda?)

Question

Eu quero configurar o rdiff-backup padrão para o servidor remoto. No entanto, os dados são muito grandes para a capacidade de conexão à internet. Portanto, eu preciso de alguma maneira de fazer a cópia inicial dos dados sem o rdiff-backup (já que não há maneira de retomar a transferência inicial que falhou após horas de transferência).

Minha ideia era transferir dados inicialmente em mídia física para o servidor remoto. Depois dessa transferência eu sincronizei os dados por rync para ter certeza que eles são idênticos. Agora quero fazer o backup inicial do rdiff. Quando eu executo o rdiff-backup, existem muitas linhas

Getting delta (with hash) of XY

como se os diretórios não fossem idênticos. O que exatamente essas linhas significam? Eles significam que o remote rdiff-backup decidiu que o arquivo não é idêntico, então há um delta diff transferido?

Existe alguma outra maneira de fazer a transferência inicial de dados grandes que podem ser retomados em caso de falha (em oposição a ser reiniciado desde o início)?

    

Answer 1

Eu uso duplicidade em vez de rdiff-backup , mas pelo que entendi, seu problema está aqui:

My idea was to transfer data initially on physical media to remote server. After that transfer I synchronized the data by rync to make sure they are identical. Now I want to do intial rdiff-backup.

Solução que funciona

A solução mais simples é rdiff-backup para essa mídia física na origem do backup, em vez de copiar e rsyncing dados. Em seguida, transfira o backup via mídia física para o servidor remoto e use-o como um diretório de backup para backups remotos. Porque ao copiar e rsyncing ainda não há backup inicial e o programa precisa cruzar todos os arquivos e salvar os metadados. Assim, o Getting delta... . O que provavelmente não está transferindo arquivos inteiros, apenas um monte de checksums.

Solução que não funciona

Pode valer a pena tentar rdiff-backup da mídia física em um diretório e, em seguida, remotamente rdiff-backup lá do servidor remoto. Embora se rdiff-backup também usar alguns metadados locais (duplicidade), você (ou ele) terá que transferi-lo de volta ou recriá-lo.

Editado de acordo com o que funcionou para o OP.

    

Answer 2

Você está realmente limitado pelo rdiff-backup ou está OK usando o rsync simples para fazer backups incrementais?

Aqui está um pequeno script que mantém 4 backups incrementais. Você pode alterá-lo facilmente para manter 9 ou 99 backups incrementais ou qualquer outro número.

Ele usa a opção --link-dest do rsync, criando links físicos se os arquivos não forem alterados.

FROM=$HOME
TO=/var/backups
LINKTO=--link-dest=$TO/'/usr/bin/basename $FROM'.1
OPTS="-a --delete -delete-excluded"
NUMBER_OF_BACKUPS=4


/usr/bin/find $TO -maxdepth 1 -type d
  -name "'/usr/bin/basename $FROM'.[0-9]"|\
  /usr/bin/sort -rn| while read dir
do
    this='/usr/bin/expr match "$dir" '.*\([0-9]\)''; 
    let next=($this+1)%$NUMBER_OF_BACKUPS;
    basedirname=${dir%.[0-9]}
    if [ $next -eq 0 ] ; then
             /bin/rm -rf $dir
    else
             /bin/mv $dir $basedirname.$next
    fi
done
/usr/bin/rsync $OPTS $LINKTO $FROM/ $TO/'/usr/bin/basename $FROM.0'

Com esse script, você pode primeiro rsync seus dados manualmente, eles configuram o script para ser lançado regularmente.