No momento, estou executando o rsync para 2,2 milhões de arquivos no total de 250 GB e isso leva apenas 700K de arquivos em 6 horas.
Alguém conhece uma ferramenta semelhante ao rsync que pode fazer isso com vários segmentos, por isso é mais rápido?
Eu duvido que cpu seja o fator limitante aqui. Você provavelmente está limitado pela largura de banda da rede para a transferência e pelo disco IO; especialmente latência para todas essas chamadas de estatísticas.
Você pode dividir a hierarquia do sistema de arquivos em partes menores para processar em paralelo?
Quais são os arquivos de origem e o que está sendo escrito ou modificado? Seria possível enviar as alterações à medida que acontecem no nível do aplicativo?
Se o subsistema de disco do servidor de recebimento for um array com vários discos, a execução de vários processos de rsync poderá melhorar o desempenho. Estou executando 3 processos de rsync para copiar arquivos para um servidor NFS (RAID6 com 6 discos por grupo de ataque) para saturar Gigabit Ethernet.
Esse cara relata um chicote básico em python que gera vários processos rsync link
Li muitas perguntas semelhantes a isso. Eu acho que a única resposta real é dividir a cópia / movimento manualmente. Ops será o problema aqui. Se isso faz você se sentir melhor, eu estou no processo de mover arquivos de 200 milhões de lls consumindo bem mais de 100TB de espaço em disco.
Você pode considerar o check-out do clone multithreaded cp para linux (código-fonte aberto): link