Eu tenho servidor de CFTV que é feito backup diariamente para um servidor ftp remoto usando um comando lftp. O servidor de CCTV salva os vídeos em uma nova pasta todos os dias. O backup é executado uma vez por dia, às 01:00, portanto, cada backup afeta apenas duas pastas. Após 28 dias, as cópias locais são todas apagadas.
O comando que eu uso atualmente é:
mirror --reverse --use-cache --allow-chown --allow-suid --no-umask --verbose
A taxa de transferência de arquivos ao mover arquivos é consistente há dois anos, mas a espera entre pastas está aumentando lentamente. Isso significa que, embora a taxa de transferência de arquivos seja de 1Mb / s, se você tirar o tempo de relógio de parede que o backup de 2GB demora a cada dia, a velocidade média após 2 anos agora é de 0,5Mb / s.
Alguma coisa no meu comando está causando o inchaço do processo? --use-cache por exemplo?
Eu poderia ter o comando mirror para executar um thread por pasta para que ele possa continuar carregando o conteúdo da pasta enquanto estiver carregando outros arquivos?
Depois de tentar limpar o cache e remover totalmente o comando --use-cache , meu provedor de serviços admitiu que estava tendo "problemas de rede", o que fazia com que os comandos ls fossem executados muito lentamente.
Felizmente logs detalhados do meu lado foram capazes de demonstrar o seu erro, e agora mostram as coisas funcionando a toda velocidade.
Mantenha seus logs de pessoas !!