Backup de arquivos grandes usando rsync para unidades externas (NTFS) levando em consideração desempenho e velocidade

Question

Atualmente, é feito o backup dos arquivos de um disco rígido externo para outro como meio de fornecer a capacidade de restaurar a partir de um dispositivo secundário, caso o disco rígido externo principal fique indisponível. falha de hardware. O método atual é baseado no uso do Microsoft Windows.

Todo o backup deve ser executado a partir de dispositivos Linux que executam o Ubuntu 14.04 daqui para frente.

Todos os discos rígidos externos são criptografados usando TrueCrypt e foram formatados com NTFS, pois também são usados em outros sistemas operacionais diferentes do Linux, como o Microsoft Windows.

Os arquivos também são criados no Microsoft Windows e armazenados nesses dispositivos.

O tamanho dos arquivos varia de 100 KB a 10 GB. Existem aproximadamente 1 milhão de arquivos e isso continua a crescer regularmente.

Requisitos

• Desempenho em discos rígidos externos. Todas as unidades atuais são USB 2
• Velocidade de transferência
• Compute limites ou considerações. Os dispositivos que atualmente executam os backups são i3, i5, i7 com um mínimo de 8 GB de RAM
• Preservando permissões e afins
• Caminhos profundos. Alguns caminhos percorrem até 20 ou 30 hierarquias
• Impacto mínimo na vida útil dos discos rígidos externos
• Evitar a alteração de sistemas de arquivos, se possível
• Cópias inteiras são aceitáveis e deltas ou diferenciais não são necessários
• Checksums para garantir que os arquivos foram confirmados com sucesso
• Registros
• A capacidade de retomar as transferências em caso de falha

Agora, houve menção ao uso de opções ou opções, como inplace , mas há muito pouca informação disponível sobre considerações adicionais para unidades criptografadas que utilizam sistemas de arquivos NTFS.

EDITAR

O atual comando tentado como exemplo é

rsync -vrlptg /media/drive1 /media/drive2

Quais outras opções / opções devem ser incluídas para suportar os requisitos?

    

Answer 1

Considerando que você está usando um protocolo USB 2.0 lento, é essencial transferir o mínimo de dados possível.

O Rsync é seu melhor amigo aqui. No entanto, o NTFS não está lhe favorecendo. Usar algo como EXT4 permite que você use hardlinks para armazenar apenas os arquivos alterados. Dê uma olhada em rsnapshot para mais informações

Se você não puder alterar o seu sistema de arquivos, você também pode dar uma olhada no backup -tático , para ter um backup desduplicado sem recorrer a hardlinks.

    

Answer 2

A maioria dos requisitos, se não todos, podem ser atendidos pelo rsync:

Veja como você usaria o rsync com o NTFS:

rsync -rvhc --size-only --progress /path/to/ntfs1/ /path/to/ntfs2/

rsync -rvhc --size-only --progress /path/to/ext4/ /path/to/ntfs/

Dica útil : Se você omitir -c (checksum); e usar somente rsync flags -rvh ; você encontrará melhorias notáveis em desempenho e velocidade.

flags v (verbose) e h (legível para humanos) são opcionais. Mais informações aqui