Synology NAS - rsync bagunçando o versionamento / desduplicação

2

É verdade que a implementação de rsync padrão do Synology DSM 4.3 não é capaz de lidar com quantidades "vastas" de dados e pode atrapalhar o controle de versão / eliminação de duplicação? Poderia ser que qualquer uma das variáveis (veja informações detalhadas abaixo) poderia tornar isso muito mais difícil?

Editar: não estou procurando mais do que uma resposta se as afirmações acima forem insensatas ou verdadeiras.

Informação detalhada :

No trabalho, temos um Synology NAS em execução no escritório. Este NAS é usado por alguns designers de onde eles trabalham diretamente. Eles têm projetos em execução que consistem em fotos de alta resolução, PSDs grandes, PDFs e quais não. Nós temos uma pasta que é de aprox. 430 GB de tamanho que consiste apenas nos projetos atualmente em execução. Essa pasta deve ser armazenada em um datacenter semanalmente, por meio de nossa conexão com a Internet.

Toda a nossa TI está sendo tratada por um terceiro, que afirma que o nosso backup está começando a formar um determinado tamanho ("100GB +"), onde a implementação padrão do DSM (4.3) rsync é incapaz de lidar com a grande quantidade de dados para o backup online (em uma de suas máquinas em seu datacenter). Eles dizem que o backup consiste em 10 TB de dados porque o rsync tem problemas com "versionamento / desduplicação" (retenção: 30 dias) e fica descontrolado.

Por causa disso, eles sugerem usar um "serviço profissional de backup on-line", que aumenta significativamente nossos custos por GB com o backup on-line.

    
por Ambidex 02.01.2014 / 15:03

1 resposta

0

O rsync por si só não sufoca em arquivos grandes ou "muitos" arquivos. Dependendo da sua situação, pode ser (mas é improvável) que o trabalho de rsync a cada semana esteja demorando mais de 1 semana para ser concluído, fazendo com que um novo trabalho de rsync comece antes que o trabalho de rsync anterior seja concluído.

É de conhecimento geral que o pessoal de TI que transfere toneladas de pequenos arquivos leva muito mais tempo do que transferir alguns arquivos muito grandes com todo o resto igual (mesma velocidade da Internet, mesmo quantidade de dados, etc ... Dê uma olhada nisso (" Transferindo milhões de imagens ") como um exemplo de discussão sobre o Stack Overflow, bem como este (" O que é mais rápido, e por que: transferir vários arquivos pequenos ou poucos arquivos grandes? ") como um exemplo de discussão aqui no Serverfault.

Assim, o problema pode ser que você deve compactar os arquivos / pastas antes de executar o rsync e, em seguida, copiar o arquivo compactado para o data center externo. Isso pouparia você em custos de armazenamento de dados fora do site mesmo assim, apesar de abrir outra lata de worms.

O seu primeiro passo seria, obviamente, descobrir quanto tempo demora a execução do trabalho de rsync. Em seguida, descubra se você precisa alterar sua metodologia de backup comprimindo os dados previamente ou migrando para uma solução alternativa de backup.

A propósito, a partir desta postagem, o Synology DSM 5.1 é a versão mais recente e o 5.2 está em versão beta. Você deve atualizar para o DSM 5.1, se ainda não tiver feito isso. Isso certamente não prejudicaria sua situação.

    
por 01.04.2015 / 12:36