rsync tendo 100% da CPU e horas para concluir

Question

Por isso, tenho um script de backup bastante simples que é executado como uma tarefa cron todas as noites e é:

rsync -azhv /company/shared_files/ /mnt/ext_drive/backups/shared_files/company_share_backup_"'date +\%Y-\%m-\%d'"

E anteriormente, o tamanho do backup era de cerca de 20 shows e foi executado em cerca de dez minutos, mas a partir de dois dias atrás são 80 shows e leva mais de 6 horas para ser executado. O que poderia ter ficado inseguro?

Meu procedimento geral é manter cada backup por 7 dias e depois manter o backup do domingo a cada semana para economizar espaço. Então, idealmente, eu gostaria de fazer um rsync separado para cada dia, em vez de fazer o rsync em sua forma mais natural. apenas atualizando os arquivos em um backup que foram alterados.

Detalhes adicionais

Estou rodando o Debian Wheezy com um disco rígido de 2TB e 16G de memória e transferindo esses arquivos do meu servidor Debian para um WD My Passport Ultra com 2TB.

    

Answer 1

Existem algumas coisas que você pode fazer lá. Você não precisa do sinal -z para rsync para uma cópia local. A compactação não é usada para transferências que não são remotas.

Você pode otimizar o rsync um pouco melhor para arquivos pequenos e o tipo de alterações com outras opções como -W (para transferir arquivos inteiros sem a pré-digitalização).

Além disso, você não deve excluir arquivos no destino?

Mais detalhes sobre o sistema operacional real que você está usando, os recursos de disco e o destino de backup podem ajudar a focar um pouco melhor a solução.