Eu preciso arquivar algumas estruturas de diretórios grandes em um servidor NFS. Eles provavelmente não serão necessários em breve, se é que estão sendo retidos por razões políticas.
Para este fim, estou fazendo tarballs e, provavelmente, eventualmente, escrevê-los em fita.
Há apenas um problema - estou tendo um pouco de dificuldade com volumes realmente grandes (10TB +) - o tempo de execução é suficientemente longo para ser deixado durante a noite e, em alguns casos, parece ter sido "parado". não é muito fácil dizer para um tar xvfz em segundo plano.
E, em seguida, coisas como ficar sem espaço, interrupção de rede, etc. significa que, para coisas que não são concluídas em uma única sessão, não tenho certeza se o arquivo é a) completo eb) totalmente válido. / p>
Portanto, espero por alguns conselhos - idealmente o que eu gostaria é de algo reiniciável, como o rsync, que eu posso passar a cópia, sem começar de novo.
Existe uma maneira de "rsync to a tar.gz"? Uma maneira não muito cara de verificar as gravações de arquivos? Atualmente estou olhando para 'extrair, shasum e comparar', mas isso também é um processo bastante caro / intensivo.
Talvez dividir seus backups seja um passo para resolver seu problema?
tar cvzf - /your/dir/ | split --bytes=1000MB - backup.tar.gz
Ou você pode pesquisar dar , talvez. Tem divisão embutida:
link
Também encontrei algumas informações sobre como retomar um trabalho de backup dar interrompido que pode ajudar:
Para verificar se a operação foi bem-sucedida, basta adicionar && echo something a cada tar operation:
tar cvzf target.tar "$source" && echo "$source tarred successfully" >> progress.log
Não ajudará você a retomar, mas pelo menos você saberá se o tar funcionou.
Outra coisa que poderia ajudar seria primeiro gzip e então tar:
find "$source" -type f -exec gzip {} + && tar cvf "$source".tgz "$source" &&
echo "$source tarred successfully" >> progress.log
Dessa forma, você pode verificar facilmente se um arquivo foi compactado ou não. A operação tar é relativamente barata, é a compactação que diminui a velocidade. Ao desacoplar os dois, você poderá obter um controle mais refinado.