rsync para backup considerado perigoso?

Question

Em nosso grupo de pesquisa, temos a necessidade de fazer o backup dos dados adquiridos no scanner de ressonância magnética de forma a preservar qualquer verificação já obtida (mesmo que os dados possam ser excluídos do scanner devido a espaço ou outros motivos). Nós chamamos isso de nosso cofre .

Para armazenar no cofre , uma máquina separada nfs-monta a partição de dados do scanner e copia os dados para o seu próprio disco rígido de backup local:

rsync -au /nfsmount/data /pvbackup-vault >> $LOGFILE

Minha pergunta é: isso é seguro? Nossos dados às vezes são reprocessados, depois de terem sido processados uma vez antes. Então eu quero o sinalizador -u.

Para os dados brutos reais (isso é sagrado), posso prever um problema: os arquivos no scanner são substituídos devido a algum erro / erro / circunstância imprevisível e, em seguida, os dados no cofre serão sobrescrito. Não tenho certeza de como me proteger contra isso. De um lado, eu gostaria de permitir que os dados sejam reprocessados, talvez até mesmo re-adquiridos, do outro lado, eu gostaria de criar um cofre que seja imune a mudanças futuras, pelo menos nos dados lado. Devo marcar essas circunstâncias e lidar com elas à mão? Tédio.

Nota: Eu tenho uma estratégia incremental diferente (rsnapshot) para proteger do erro do usuário que permite a recuperação de dados excluídos / alterados inadvertidamente, atingindo um determinado número de horas / dias / semanas / meses.

Nota2: Talvez eu deva mencionar que estamos lidando com cerca de 250 GB atualmente e cerca de 10 GB por semana de dados recém-adquiridos. Então, os DVDs estão fora como alternativa ...

    

Answer 1

Você está fazendo a primeira parte correta, tire os dados do scanner de hardware caso algo aconteça. A segunda parte deve ser que você faça backups do seu local de backup intermediário. Então, em outras palavras, você deve configurar um trabalho rsync secundário para outro local de descanso / backup final ou realmente ter um programa de backup e fazer uma cópia periódica para um propósito mais permanente / arquivamento.

Geralmente você faz duas coisas para preservar os dados ...

1. Pegue o disco imediato no backup em disco (Scanner usando rsync)
2. Obtenha um disco de backup de arquivamento em fita ou alguns métodos mais recentes, apenas outro disco para disco ou mecanismo de disco para a Web.

Isso garante que os dados do seu scanner estejam protegidos e você tem arquivos de longo prazo de tudo que acontece. Trate seu disco em disco como backup temporário até que a execução de arquivamento possa ser concluída, seu arquivo é sagrado.

    

Answer 2

rsync com a opção --link-dest pode ser útil. Cria um diretório para cada execução de backup. Arquivos inalterados desde a última execução são vinculados às versões já presentes. Portanto, você tem uma estrutura de pastas normal completa de cada execução (você pode navegar diretamente por ela) sem duplicar os dados inalterados.

Eu uso o seguinte tipo de trechos para > 1 TB desde anos para backups diários. uma ferramenta linux-gui que usa o rsync dessa forma é backintime link

#!/bin/bash

# when saving this as "rsync-history" call it with arguments
# sh rsync-history user@host-to-be-backed-up:/directory-on-host/    where-to-save-the-backup/ 

source=$1
target_fileprefix="$2""$source"

#keep N generations
bigger=100


rm -vrf "$target_fileprefix""$bigger"

#move 1 to 2, 2 to 3...
while [ $bigger -gt 0 ]
do
smaller=$(($bigger-1))      
mv  -f "$target_fileprefix""$smaller"\
"$target_fileprefix""$bigger" 2>>/dev/null
bigger=$(($bigger-1))
done

mkdir -p "$target_fileprefix""0" 

rsync \
-a --whole-file --delete \
--link-dest=$target_fileprefix"1"/.  $source. $target_fileprefix"0"/.