Já tentou brincar com as opções rsync ? As opções -c , -W e --delay-updates podem ser úteis.
Eu preciso gerenciar um sistema de arquivos com um grande número de arquivos (centenas de milhares).
Este sistema de arquivos é rsync ed periodicamente. A grande maioria dos arquivos não muda com frequência, mas, como há muitos, o rsync demora muito, porque precisa stat de todos eles.
Em um esforço para reduzir o tempo que o rsync leva, tenho tar ing diretórios grandes que não são alterados, mas isso leva a problemas de usabilidade. Toda vez que um usuário precisa de um arquivo dentro dos arquivos, ele deve abrir o arquivo e extrair o arquivo.
Existe uma maneira de tornar rsync mais rápido em tal cenário, com a mudança sendo transparente (ou pelo menos não irritante) para o usuário não técnico?
Já tentou brincar com as opções rsync ? As opções -c , -W e --delay-updates podem ser úteis.