Rsync lento para sincronizar

1

Estou sincronizando duas unidades usando o rsync (cygwin) usando o seguinte comando rsync -a -H /cygdrive/e/ /cygdrive/d/ í tem cerca de 3 tb de dados e provavelmente cerca de 1 milhão de arquivos (incluindo) hard links. A primeira vez que demorou cerca de 1 a 2 dias para terminar, lembre-se corretamente. Se executar novamente este comando, leva muito tempo, mesmo que nada seja atualizado. Demora um par de horas --- 12 horas. Isso não deve demorar muito menos tempo?

    
por rjss 12.04.2017 / 05:36

2 respostas

1

Você está copiando entre dois locais no mesmo sistema. Isso desativa o algoritmo delta e reverte o rsync para ser uma implementação sofisticada de cp -a .

O sinal -H faz com que rsync tenha que manter um registro de cada arquivo com mais de um link físico para poder reconstruir os links físicos no destino. Isso aumenta o uso da memória (empiricamente, eu diria bastante), o que, por sua vez, pode exigir mais do seu sistema.

Por fim, o Cygwin rsync é consideravelmente mais lento que uma implementação nativa do UNIX / Linux. Eu não determinei se isso é porque está usando uma camada de compatibilidade no topo do Windows ou porque o sistema de arquivos é mais lento ou até mesmo por causa de algo completamente diferente. Mas é mais lento para um conjunto idêntico de arquivos no mesmo hardware.

    
por 19.04.2017 / 00:51
0

Esta não é uma resposta completa, mas acho que pode ser realmente valiosa para algumas pessoas presas na mesma situação. Acabei fazendo meu rsync do Linux e funcionou sem problemas. Se você está tendo este problema, tente ao menos inicializar o Ubuntu / CentOS ou sua distribuição preferida do Linux, mesmo de um CD, e veja se funciona.

    
por 27.05.2017 / 04:28

Tags