Estou executando o rsync como uma tarefa do cygwin no Windows Server 2008 há cerca de dois meses. Eu estou usando a opção --link-dest para fazer um 'instantâneo' diário do conteúdo de um servidor contendo cerca de 10TB de dados, cerca de 13 milhões de arquivos, para um servidor NAS baseado em Linux. As coisas começaram bem, mas logo percebi que o tempo para completar estava aumentando lentamente. Começou por volta das três horas, mas agora tem cerca de quinze.
O comando é o seguinte ...
rsync -rlptDhPR \
--password-file=password \
--Chmod=Du=rwx,Dgo=rx,Fu=rw,Fgo=r \
--Stats \
--delete \
--log-file=logfilename \
--link-dest=linkdestpath \
sourceDirectory \
[email protected]::destinationDirectory
Eu não estou usando a opção full-a, já que as diferenças entre as propriedades do Windows e do Linux atrapalharam as coisas.
O primeiro arquivo de log ficou assim ...
2018/10/01 23:00:14 [2164] building file list
...transfer file list here
2018/10/02 02:11:30 [2164] Number of files: 13,759,998 (reg: 12,260,176, dir: 1,499,821, link: 1)
2018/10/02 02:11:30 [2164] Number of created files: 302 (reg: 291, dir: 11)
2018/10/02 02:11:30 [2164] Number of regular files transferred: 310
2018/10/02 02:11:30 [2164] Total file size: 10.40T bytes
2018/10/02 02:11:30 [2164] Total transferred file size: 664.31K bytes
2018/10/02 02:11:30 [2164] Literal data: 277.91K bytes
2018/10/02 02:11:30 [2164] Matched data: 386.40K bytes
2018/10/02 02:11:30 [2164] File list size: 10.42M
2018/10/02 02:11:30 [2164] File list generation time: 0.154 seconds
2018/10/02 02:11:30 [2164] File list transfer time: 0.000 seconds
2018/10/02 02:11:30 [2164] Total bytes sent: 235.68M
2018/10/02 02:11:30 [2164] Total bytes received: 7.51M
2018/10/02 02:11:30 [2164] sent 235.68M bytes received 7.51M bytes 21.17K bytes/sec
2018/10/02 02:11:30 [2164] total size is 10.40T speedup is 42,753.79
o mais recente se parece com isso ...
2018/11/24 23:00:15 [2924] building file list
2018/11/24 23:00:17 [2924] cd..t...... /cygdrive/
2018/11/25 13:21:16 [2924] Number of files: 13,776,423 (reg: 12,274,642, dir: 1,501,780, link: 1)
2018/11/25 13:21:16 [2924] Number of created files: 0
2018/11/25 13:21:16 [2924] Number of regular files transferred: 0
2018/11/25 13:21:16 [2924] Total file size: 10.49T bytes
2018/11/25 13:21:16 [2924] Total transferred file size: 0 bytes
2018/11/25 13:21:16 [2924] Literal data: 0 bytes
2018/11/25 13:21:16 [2924] Matched data: 0 bytes
2018/11/25 13:21:16 [2924] File list size: 10.35M
2018/11/25 13:21:16 [2924] File list generation time: 0.316 seconds
2018/11/25 13:21:16 [2924] File list transfer time: 0.000 seconds
2018/11/25 13:21:16 [2924] Total bytes sent: 236.55M
2018/11/25 13:21:16 [2924] Total bytes received: 7.51M
2018/11/25 13:21:16 [2924] sent 236.55M bytes received 7.51M bytes 4.72K bytes/sec
2018/11/25 13:21:16 [2924] total size is 10.49T speedup is 42,996.96
Como você pode ver, a hora de início é 23:00 (23:00) em ambos os casos. O primeiro log mostra que a identificação dos arquivos a serem transferidos levou cerca de três horas (omiti a lista de arquivos - é bem longa), o segundo log demora quatorze horas para fazer o mesmo trabalho (nesse caso, isso foi feito no final de semana e Eu incluí todo o arquivo de log que identifica corretamente que nenhum arquivo foi alterado)
O número de arquivos é o esperado, assim como todo o resto. É apenas o tempo necessário para "criar lista de arquivos" é significativamente maior.