O Rsync demora mais de 8 horas para fazer o backup de 15M + de arquivos

Question

Eu tenho ~ 700 GB de armazenamento, onde armazeno arquivos ~ 15M, portanto, o tamanho médio do arquivo é de ~ 50KB. Para fazer o backup, durante a noite, executo um script rsync simples com o seguinte conjunto de sinalizadores:

--archive --update --compress --numeric-ids --human-readable --stats

São necessárias mais de 8 horas para que rsync conclua seu trabalho. Em média, há de 1 a 4 GB de dados movidos diariamente. Parece incrivelmente ineficiente para mim.

Posso ajustar meu script rsync como? Eu suponho que minha melhor aposta é a migração de dados para MongoDB ou algo similar, mas há um problema com isso, porque a infraestrutura atual depende dos arquivos que estão sendo acessados como no sistema de arquivos posix , migrá-los para algo totalmente diferente pode exigir trabalho extra, potencialmente muito trabalho ... Qual outra estratégia poderia ser?

    

Answer 1

Demora tanto tempo para o rsync apenas analisar muitos arquivos, mesmo que a transferência seja eficiente. Ele tem que fazer mais de 15 milhões de pedidos, mais ou menos cache. Você pode lançar um armazenamento muito rápido, mas isso pode ser caro.

A sugestão do zfs é usar cópias em nível de bloco nas quais isso se torna um arquivo gigante para ser transferido.

Os conceitos também se aplicam ao lvm, embora possa exigir mais scripts, já que não são criados instantâneos remotos. Consulte algo como lvmsync para ideias.