A maneira mais rápida de duplicar ou copiar ou fazer backup de um diretório com TB de dados (arquivos de imagem) nele

Question

Oi você pode sugerir uma opção muito eficiente e de alto desempenho para copiar arquivos (TB de dados sob a forma de imagens estão presentes) de um disco para outro.

Eu vi opções como cp, rsync etc., mas gostaria de ter uma segunda opinião de vocês que já testaram esse cenário de maneira confiável.

Eu também tenho um requisito como abaixo:

1. Disco primário - > onde os arquivos são armazenados após a captura
2. Disco secundário que usa o rsync para fazer backup do disco principal.
3. Terceiro disco que agora fará o backup do disco secundário e, em seguida, excluirá os arquivos indesejados do primário para que o disco secundário e o terceiro sejam sincronizados novamente

Nota: 1. Considere a utilização do servidor também porque os arquivos de imagem também serão lidos em paralelo por outros processos. 2. Eu tento fazer backup do disco secundário para o terceiro. Preciso de seu conselho para os 3 passos

    

Answer 1

Infelizmente, a cópia do disco está lenta. Não há maneira barata de contornar isso.

Parece que o RSYNC é um bom caminho porque você não está sempre querendo copiar todos os dados no disco. Você pode querer verificar se o seu rsync não está pulando com base na soma de verificação (ou seja, nenhum sinalizador -c ou --checksum), supondo que você pode confiar em carimbos de data / hora e tamanho do arquivo. Se o conteúdo do arquivo for alterado (o que parece improvável), você poderá obter uma aceleração significativa fazendo "--inplace --no-whole-file" para copiar apenas os bits que foram alterados.

Claro, existem outras estratégias que vale a pena considerar em um nível de bloco. Mudar para o ZFS (ou DRBD ou Gluster ou MooseFS) e replicar dados em um nível de bloco pode se tornar mais eficiente dependendo do tipo de alterações que você está fazendo, da velocidade do seu tráfego etc.