Estou usando BackupPC para fazer backup de algumas estações de trabalho no escritório. Uma estação de trabalho em particular possui uma quantidade considerável de dados quando comparada com o restante, no entanto, não é tão grande em geral (falando sobre 250 GB de dados reais).
BackupPC parece demorar uma eternidade para recuperar este sistema (vários dias, ou seja, mais de 72 horas +). Todas as estações de trabalho estão sendo submetidas a backup via rsync em uma montagem autofs local pela rede.
Basicamente, autofs monta o administrative C share na estação de trabalho, então BackupPC o trata como um diretório local, cd nos automount directory e rsync em todos os dados. / p>
É lento em geral, e eu geralmente o atribui à caixa BackupPC sendo hardware lento, mas esse desempenho é mais ou menos aceitável em todas as estações de trabalho, exceto essa com a maior quantidade de dados.
rsync flags:
/usr/bin/rsync --numeric-ids --perms --owner --group -D --links --hard-links --times --block-size=2048 --recursive
Estes são os argumentos padrão com os quais BackupPC está configurado.
Eu li algumas coisas on-line que indicavam atime nas montagens pode estar atrasando as coisas - então eu mudei meu autofs config para montar os diretórios com o noatime flag ... nenhuma diferença.
Eu li algumas coisas que indicam que rsync pode ser o culpado devido a como ele está verificando os arquivos ... e sugeriu mudar para tar . Então eu fiz ... mas não houve diferença.
tar flags:
tarPath="/bin/gtar"
env LC_ALL=C $tarPath -c -v -f - -C $shareName+ --totals
# where $shareName is the autofs mounted directory
Estes são os argumentos padrão com os quais o BackupPC está configurado.
Nenhuma alteração.
Monitorando a atividade de rede da caixa BackupPC com iftop , parece que ela aumentará em uso por um tempo (às vezes até 90Mbps), mas diminuirá para Kbps ou até mesmo para Bps. Enquanto está no modo lento, top mostra a atividade com o comando BackupPC_dump , que é o trabalho de backup ... por isso, ele está fazendo coisas e não está preso.
O backup atual está em execução há mais de 24 horas, mas transferiu apenas 75,9 GB de acordo com iftop .
Pode ser mais rápido executar o rsync diretamente no servidor. Você tem cerca de um milhão de arquivos para acessar pela rede. Há algumas instalações mínimas de rsync que você pode executar. Eu configurei o BackupPC no Windows dessa maneira. Você pode executar uma instalação completa do Cygwin ou a instalação mínima cygwin-rsycnd disponível no projeto BackupPC.
Você deve verificar tudo em ambos os lados da sua configuração de backuppc. Primeiro, verifique o servidor e tente aumentar o desempenho, mas se você tiver outras máquinas com melhor desempenho, pule esta.
Em seguida, verifique a rede! Velocidade de rede detectada pela área de trabalho, tamanho do pacote, qualidade do cabo. Faça alguns benchmarks, faça um teste rsync (rsync-rsyncd) de um arquivo grande. Teste de outra área de trabalho e para outra área de trabalho. Você deve ver se tem algum problema aí ou não.
Finalmente, a área de trabalho. O CIFS na máquina pode não estar na melhor forma, e como eu disse acima, o rsync de um sistema de arquivos da rede fará o download de todos os arquivos pela rede novamente, como coisas rsync o sistema de arquivos é local e irá verificar o md5 do arquivo. .. mas o arquivo precisa ser buscado pela rede apenas faça essa verificação. Então, como BillThor aponta, um rsyncd na área de trabalho será muito mais eficiente. Além disso, o cache de soma de verificação ajudará o servidor backuppc a não verificar seus arquivos, reduzindo assim sua carga. Desfragmentar a área de trabalho e remover (ou excluir) qualquer tipo de arquivo não necessário (o Windows possui muitos arquivos inúteis em todo o lugar).
Por fim, o número de arquivos ... muitos arquivos fazem com que qualquer backup na rede leve muito tempo, então brinque com ... em vez de um grande backup, divida-o em partes menores. alguns arquivos mudam mais do que outros, então agrupe diretórios por probabilidade de mudança. Em vez de um grande backup a cada x dias, tenha 3 backups, um em X dias, outro em 2 x dias e os menos atualizados para, por exemplo, 3 x dias. Desta forma, você está evitando ter que analisar todos os arquivos todos os tempos. Se você tiver arquivos "archives", considere compactar. Mesmo se não for compressível (use o zip store), ele irá transformar 10.000 em apenas 1 ... grande economia durante o tempo de backup.
Se você não puder fazer isso, poderá considerar alterar o método de backup. em uma máquina enorme com muitos arquivos eu usei snapshot da unidade para fazer uma imagem HD e, em seguida, fazer um snapshot incremental periódico. Pode parecer um exagero, mas esse programa está fazendo rapidamente o incremento no nível do bloco e contornará o problema de muitos arquivos. Para mim, reduziu um backup do sistema de arquivos de 48h para um nível de bloco de backup de 3 horas. Não é tão flexível quanto o backuppc, mas funciona. apenas não se esqueça que quando você faz uma desfragmentação, você deve fazer um backup completo novamente, ou o incremental será tão grande quanto o total. :)
verifique se este post de backup de janelas (com um bônus para cópia de sombra). leia todos os comentários, pois adiciono muitas informações e atualizações importantes.