Qual é o efeito do rsync --block-size em arquivos grandes?

Question

Eu quero fazer backup de alguns terabytes de arquivos grandes (de 500mb a 1500mb cada) para um servidor de backup (armazenamento BULK) via rsync.

Para isso eu uso o seguinte comando (atualizado com sugestões do @Gilles):

rsync --stats --progress --ignore-existing --recursive --exclude ".*" /from/ /to

rsync --stats --progress  --archive --update --exclude ".*" /from/ /to 

Minhas velocidades de transferência são ~ 40MB / s. Eu acho que essa velocidade é limitada pelo sistema de armazenamento BULK no outro site da linha. (SSD - > 1000mbits / s - > armazenamento EM MASSA)

Como eu sei rsync principalmente arquivos grandes, é útil especificar o tamanho do bloco para acelerar minha transferência? Se isso acelerar a minha transferência, será razoavelmente mais?

    

Answer 1

--block-size �um par�etro do algoritmo de transfer�cia delta de rsync, isto � o seu algoritmo de transfer�cia parcial baseado na soma de verifica�o de bloco. Como você está fazendo cópias locais, o algoritmo de transferência delta não é usado, portanto --block-size é ignorado. O algoritmo de transferência delta fornece resultados piores em cópias locais (é por isso que está desativado por padrão), porque o rsync precisa ler todos os arquivos no lado do destino. É útil quando o acesso ao disco em ambos os lados é significativamente mais rápido que a conexão de rede entre os dois lados.

40MB / s de E / S de arquivo é de aproximadamente 400Mb / s de E / S de disco bruto, considerando a sobrecarga do sistema de arquivos. Tem certeza de que ambos os lados podem sustentar mais do que isso?

Você geralmente deve usar rsync -a para preservar todos os modos de arquivo. Para um backup, use definitivamente -a . Adicione o -u flag para não perder tempo copiando arquivos que não foram modificados (além de -a : -u não é útil se você não estiver preservando os tempos).