Percebi recentemente que os backups que eu tenho em duas unidades externas formatadas com NTFS diferentes, que deveriam ser idênticas, na verdade não são. E nenhum deles é idêntico aos dados que estão na estação de trabalho do Linux (formato ext4). Eu posso ver isso quando eu simplesmente contar linhas no mesmo arquivo, nas três cópias que eu tenho:
$ wc -l /data/my_file
1288057 /data/my_file
$ wc -l /backup-1/my_file
1287905 /backup-1/my_file
$ wc -l /backup-2/my_file
1288253 /backup-2/my_file
Felizmente, o programa que estou usando para trabalhar com esses arquivos não poderá usar nenhuma cópia, mas a válida, então tenho uma maneira fácil de detectar a correta. A desvantagem é que meu diretório de processamento atual é de cerca de 2TB grande e leva várias horas para copiar dentro e fora da estação de trabalho ... Assim, apenas restaurando backups e testando se eu posso usá-los não é uma opção conveniente (eu já passei algum tempo fazendo isso neste fim de semana). Não posso deixar uma cópia dos dados para sempre na estação de trabalho, porque ela é compartilhada entre vários usuários e simplesmente não temos armazenamento suficiente para manter tudo (cada usuário faz o backup, libera armazenamento para o próximo e restaura o último backup quando eles retomam o trabalho), e é por isso que eu absolutamente preciso de uma solução de backup confiável.
Os arquivos têm o mesmo tamanho (596 MB), então estou pensando que talvez os dados não sejam alterados, mas caracteres de nova linha foram introduzidos de alguma forma (explicando a saída diferente de wc -l e por que o programa de análise é incapaz de usa-os). Mas isso é difícil de verificar, dado o tamanho desses arquivos. Uma rápida olhada em seus head e tail não indicou tais quebras de linha incorretas.
Estes backups foram feitos usando o seguinte comando rsync :
rsync --recursive \
--links \
--perms \
--executability \
--acls \
--xattrs \
--owner \
--group \
--devices \
--specials \
--times \
--partial \
--delete \
--update \
--one-file-system \
--human-readable \
--progress \
--stats \
SOURCE DESTINATION
Eu só li arquivos dos backups (nunca tentei escrever), de um Mac que só pode ler NTFS mas não escrevê-lo de qualquer maneira (eu realmente não confio em coisas como FUSE for macOS para dados de várias semanas de trabalho intensivo em computação), por isso tenho certeza de que não corrompi o backup apenas acessando-o.
A opção --partial está causando essas diferenças? (possivelmente anexando conteúdo a um arquivo já existente, em vez de transferi-lo novamente). Eu li o manual rsync cuidadosamente, mas não tenho certeza se entendi exatamente o que o --partial faz.
Esse problema tem alguma coisa a ver com o sistema de arquivos NTFS das unidades externas? Em caso afirmativo, usar uma unidade de backup ext4 resolve esse problema?