Se um conjunto de arquivos (vários GB cada um) e cada um deles mudar um pouco todos os dias (em locais aleatórios, não apenas as informações acrescentadas no final), como ele pode ser copiado de forma eficiente? Quero dizer, no sentido de que apenas as partes alteradas são atualizadas, e não os arquivos inteiros. Isso significaria a diferença entre copiar alguns Kb aqui e ali ou alguns GBs.
O programa rsync faz exatamente isso. Na página do manual:
It is famous for its delta-transfer algorithm, which reduces the amount of data sent over the network by sending only the differences between the source files and the existing files in the destination. Rsync is widely used for backups and mirroring and as an improved copy command for everyday use.
Você provavelmente deseja um programa de backup de desduplicação moderno. Confira o BorgBackup .
Isso fará vários backups de cada versão do seu arquivo grande, mas compartilhará o conteúdo comum entre as diferentes versões, portanto, o espaço total usado para uma determinada versão do arquivo grande será um pouco maior que o espaço total em disco para uma única versão, assumindo que as diferentes versões diferem apenas ligeiramente.
Se você é IO-limitado de alguma forma, use um sistema de arquivos como o BTRFS ou o ZFS que suporte diretamente backups incrementais sem encontrar as diferenças nos arquivos, como rsync fazer.
Usar rsync será lento e muito intensivo em I / O.
Porque, se qualquer aplicativo que estiver gravando alterações nos arquivos estiver, de alguma forma, limitado por E / S, usar rsync levará ciclos de E / S importantes para o aplicativo, e essa é a razão pela qual os arquivos existem. E se o seu processo de backup ou sistema for limitado por E / S, rsync vai afastar ciclos de E / S da sua largura de banda de backup disponível.
Apenas o Google "rsync é lento". Por exemplo: O rsync é muito lento (fator 8 a 10) comparado ao cp na cópia de arquivos do nfs-share para o diretório local
Tags backup