Qual é o desempenho assintótico do par2?

Question

Eu tenho uma máquina com um CPU wimpy, apenas 1G de RAM e 10Tb de espaço em disco. Eu gostaria de fazer um backup muito confiável do que está armazenado nesta máquina.

Como parte disso, gostaria de criar arquivos par2 para meus arquivos de backup antes de enviá-los para o Amazon Glacier.

Como teste preliminar, executei o par2 em um arquivo de 40G. Usava apenas 1% de ram e demorou algumas horas.

Então, minha pergunta é: quando executo o par2 em um arquivo 900G, o que vai acontecer? O uso de memória do par2 está limitado ou é linear ou pior no tamanho do arquivo? O uso da CPU é linear ou pior?

Eu percebo que eu poderia apenas tentar, mas como o melhor cenário é que isso levará vários dias para ser executado, eu pensei em perguntar se o que estou fazendo é bobo ou não antes de tentar.

    

Answer 1

Existem várias implementações do par2, variando o desempenho.

Eu usei ParPar , que é uma implementação projetada para uso com o Node.JS, mas fornece uma ferramenta de linha de comando independente ( parpar.js). Eles dizem que está em desenvolvimento ativo, por isso pode não ser estável agora.

Ele mostrou ser pelo menos uma ordem de grandeza mais rápida que par2cmdline. 230 GB em cerca de 2 horas em um laptop i7, usando 32768 blocos.

Em relação ao uso de memória, você pode especificá-lo na linha de comando. Mais será mais rápido (8G no meu exemplo), mas funcionará com 64M.

Esta é a linha de comando que eu usei para gerar 2% de dados de recuperação para o diretório atual, recursivamente:

 ~/code/ParPar/bin/parpar.js -b 32768 -t4 -m8192M --min-chunk-size 8M -r2% -R -o pardata -- .