A maneira mais rápida de processar e transferir cerca de 600 GB de dados entre dois discos rígidos externos

Question

sudo fdisk -l :

me dará a seguinte saída.

Disk /dev/sdc: 4000.8 GB, 4000787029504 bytes
256 heads, 63 sectors/track, 484501 cylinders, total 7814037167 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 33553920 bytes
Disk identifier: 0x1ca6469a

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1  4294967295  2147483647+  ee  GPT
Partition 1 does not start on physical sector boundary.

WARNING: GPT (GUID Partition Table) detected on '/dev/sdd'! The util fdisk doesn't support GPT. Use GNU Parted.

Note: sector size is 4096 (not 512)

Disk /dev/sdd: 3000.6 GB, 3000592977920 bytes
255 heads, 63 sectors/track, 45600 cylinders, total 732566645 sectors
Units = sectors of 1 * 4096 = 4096 bytes
Sector size (logical/physical): 4096 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk identifier: 0x00000000

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1       51205      204820   ee  GPT
/dev/sdd2           51206   732533871  2929930664    7  HPFS/NTFS/exFAT

Eu quero transferir dados do dispositivo montado em / dev / sdd2 para / dev / sdc2 e os dados estão em torno de 400 - 600 GB. Qual é o melhor método para processar e transferir este arquivo.

Meu disco de destino não está vazio e preciso mover essa quantidade de dados a cada três dias.

1. Compactar e descompactar leva muito tempo
2. Ainda estou para experimentar o rsync, gostaria que seus comentários
3. Estou usando duas portas USB 3.0 para os dois discos rígidos. Devo NÃO conectá-los a um hub para torná-lo mais rápido?

Existe alguma outra maneira eficiente de transferir esses arquivos?

    

Answer 1

A melhor maneira será uma cópia direta - a menos que já existam dados na unidade de destino que correspondam à unidade de origem com nome de arquivo, tamanho e data do último modo idênticos, você desperdiçará recursos. Isso é ainda mais verdadeiro de usar compactação / descompactação, a menos que você esteja compactando seus dados - e os dados de origem sejam compactáveis (e supondo que as leituras sejam mais rápidas do que escritas)

Você não deseja usar um hub, pois isso compartilha a largura de banda do disco rígido.

Você pode conseguir mexer nas bordas alterando o tamanho do bloco do sistema de arquivos - maior é mais um desperdício, mas um pouco mais rápido. (Não massivamente embora)

Além disso, sistemas de arquivos diferentes podem oferecer melhor desempenho, dependendo do tamanho do arquivo.

Seu gargalo provavelmente é a velocidade do disco e a latência mais do que qualquer outra coisa. Não há muito o que você pode fazer para consertar isso, salvar, talvez suportar o disco de destino está em branco - como a inicial - faixas mais externas - são muito mais rápidas que as faixas mais internas. (Eu suponho que sua referência a sdc2 deveria ter sido sdc1. Se esse NÃO for o caso, você deve considerar o layout do sdc com relação à colocação de dados o mais próximo possível do início do disco.

    

Answer 2

Se você tiver dois hubs USB equivalentes, conecte os discos a hubs diferentes, desconecte outros dispositivos USB e faça uma cópia direta. Isso garantirá o máximo paralelismo.

Se você tiver apenas um hub, poderá ser mais rápido transferir para um disco interno intermediário e, em seguida, copiar para o outro disco externo, já que o disco externo será o gargalo.

Caso você tenha pastas com muitos arquivos pequenos, compactá-los em um único arquivo zip aumentará drasticamente a velocidade de transferência.

Quando as unidades são do mesmo tamanho, a cópia da partição Drive-to-Drive deve ser a mais rápida se o disco estiver cheio, mas mais lento se o disco estiver longe de estar cheio.

Se a unidade de destino estiver vazia, o aumento do tamanho do cluster de partição de 4 para 16 evitará muitas operações de E / S gerais, mas custará algum espaço extra.