Quanto tempo levaria essa transferência de arquivos?

1

Eu tenho 12 horas para fazer backup de 2 TB de dados.

Eu gostaria de fazer backup para um compartilhamento de rede em um computador usando discos rígidos WD 2TB Black 7200rpm. Gigabit Ethernet.

Quais outras variáveis eu precisaria considerar para ver se isso é viável? Como eu configuraria esse cálculo?

    
por CT. 17.06.2010 / 06:08

2 respostas

4

Os dois grandes fatores aqui são a rapidez com que a fonte pode enviar dados e a rapidez com que a recepção pode confirmá-los. O GigE é um bom começo, o que significa que, em teoria, pode demorar apenas 4,7 horas. Fatores que podem aumentar isso:

  • Se os buffers de rede da extremidade de recebimento acabarem (as frequências de origem são muito rápidas).
  • Se o final de envio estiver muito fragmentado, não será possível lançar dados na velocidade da linha.
  • Se o final do recebimento for qualquer coisa menos fragmentado, talvez não seja capaz de escrever rápido o suficiente.
  • Algo em seu caminho de rede está sobrecarregando o bandwitdh (algumas portas de uplink ocultas ficam saturadas com outro tráfego).

Meu cálculo de back-of-envelope diz que você precisa transmitir em cerca de 49 MB / segundo para fazer o trabalho. Se esse disco rígido estiver nu e a pilha da rede estiver decente, provavelmente serão os níveis de fragmentação da fonte que determinam a velocidade final.

Editar : vejo nos comentários que você está planejando um sistema de backup em disco.

Mais algumas coisas a considerar. O uso de várias unidades de destino em uma configuração de faixa de algum tipo é uma boa maneira de paralelizar o processo de busca e reduzir sua penalidade de fragmentação. O RAID10 é a melhor solução para isso, embora o Raid5 / 6 possa funcionar se a sua placa RAID for rápida o suficiente para lidar com isso. Se não for, então o RAID10 é sua única esperança redundante. As unidades de RPM de 7,2K realmente podem ser usadas nessas situações, estou fazendo isso agora, mas com unidades de 500 GB e não de 2 TB. Você realmente quer garantir que essas unidades estejam escrevendo sequencialmente o máximo possível e reduza as gravações aleatórias.

As gravações aleatórias são causadas de várias maneiras. Se o seu sistema de backup apenas copia arquivos para um novo local, você está apenas criando arquivos bajillion e os backups serão inevitavelmente aleatórios nesse caso. Você quer evitar sistemas de backup que fazem isso. Se o sistema de backup criar arquivos grandes (arquivos de 10 GB, por exemplo), a E / S aleatória acontece quando esses arquivos são fragmentados.

Evitar a fragmentação de arquivos grandes requer alguns passos:

  • Certifique-se de que apenas um arquivo esteja sendo gravado a qualquer momento.
    • Existem algumas exceções para isso se você estiver executando o tipo certo de sistema de arquivos no Linux, mas não sei se você está. Se estiver usando NTFS, mantenha um escritor.
  • Deve haver espaço livre suficiente para que um arquivo grande seja gravado em um bloco.
    • Depois que você estiver correndo há algum tempo, fique de olho no seu gráfico de fragmentação.
  • Se possível, configure seu sistema de backup para criar o arquivo no total antes do uso. Você pode obter alguns arquivos de 10 GB que estão quase sempre vazios, mas pelo menos eles são contíguos e ajudarão a reduzir o arrastamento de fragmentos à medida que o sistema envelhece.
por 17.06.2010 / 06:23
0

Se a sua conexão puder fazer 1000 Megabits, transferir todos os dados levaria cerca de 4,5h (1 Megabit é 0,125 MB), então isso pode funcionar, mas pode, dependendo do layout da rede, usar muito da sua largura de banda .

Uma alternativa melhor para backup, especialmente se você quiser apenas fazer alterações de backup e não produzir 2TB de dados a cada 12h, é somente transferir as alterações reais. Eu sugiro que você procure em rsnapshot que é um ótimo wrapper em torno de rsync . Dessa forma, você faz a transferência completa por uma única vez no início e a atualização dos instantâneos será muito mais rápida. Existem alguns tutoriais de rsnapshot no superusuário já.

    
por 17.06.2010 / 06:20