Backups Incremental de Estilo de Instantâneo com rsync em NTFS

Question

Eu assumi o desenvolvimento de um produto Linux embarcado que precisa de uma solução de backup confiável. Os backups devem ser executados sem compactação em um dispositivo de armazenamento USB conectado formatado para NTFS.

A implementação atual é um simples rsync --archive --verbose --delete que funciona, mas dado o parâmetro --delete , qualquer arquivo excluído acidentalmente também será removido do backup, o que não é bom.

Por não usar --delete , por outro lado, podemos acabar com duplicatas se os arquivos forem renomeados.

Id gostaria de mudar isso para usar hard-links para criar backups no estilo snapshot, como feito por Mike Rubel , ou link , que basicamente se resume a:

rsync -avh --delete --link-dest=<previous-backup> <source> <backup-location>

Eu não vi nenhuma menção explícita de sistemas de arquivos para isso. Eu sei que posso fazer isso em NTFS, mas há algum hickups? Os backups criados dessa maneira podem ser lidos conforme o esperado no OSX e no Windows?

    

Answer 1

I haven't seen any explicit mentions of file systems for this. I know that I can do this on NTFS but are there any hickups? will backups created this way be readable as expected on OSX and windows?

Enquanto isso é antigo, gostaria apenas de mencionar um hickup adicional que me deparei nos últimos anos, além de coisas como perder permissões. Embora o NTFS seja capaz de armazenar vários links para arquivos, seu número é limitado a 1023 e eu tive discussões anteriores onde foi relatado que o desempenho de pelo menos o Windows / NTFS mais antigo na exclusão de arquivos com muitos links era muito ruim. Foi uma discussão em um fórum alemão sobre uma ferramenta chamada HardlinkBackup, que essencialmente funciona da mesma forma como o rsync em relação a hard-links. Para alguns usuários, demorou horas a dias para remover 25.000 arquivos com 10 links de algum histórico de backup. As mesmas pessoas não relataram nenhum problema com uma configuração comparável usando alguns sistemas de arquivos Linux e ext * antigos. Eu mesmo não reconheci esse problema durante meus próprios testes, mas as coisas começaram a desacelerar nos meus testes com 50 links também.

Portanto, embora eu ache que as coisas tenham melhorado bastante desde o Windows 7, especialmente porque o Windows depende de hard-links para atualizações e muito mais nos dias de hoje, pode ser uma boa ideia testá-lo com um histórico de backup maior.

    

Answer 2

O Rsync cria espelhos e os espelhos não são backups; não a menos que você tenha pelo menos 2, de preferência 3+, desses dispositivos de armazenamento USB e os gire (nesse caso, os problemas de --delete que você mencionou não são importantes).

Você deve considerar o uso de uma ferramenta mais apropriada, como duplicidade, dejadup (essencialmente um front-end para duplicidade), rdiff-backup ou alguma outra ferramenta que mantenha o histórico de seus arquivos.

O NTFS provavelmente estará bem com todos eles, desde que a duplicação exata dos atributos do arquivo, como usuário, grupo, etc., não seja especialmente significativa. Acredito que a duplicidade, em particular, não vai se importar, pois mantém todos os seus dados dentro dos arquivos (eu uso com o armazenamento em nuvem do Amazon S3).