Como sincronizar “corretamente” milhões de arquivos com rsync e inotify?

6

Suponha que eu tenha 1 milhão de arquivos, a lista de arquivos seria algo como 20MB. Se eu adicionar apenas um arquivo, inotify dirá rsync para transferir a lista de arquivos e o novo arquivo. Minha rede não é boa e posso ter que limitar a largura de banda ( --bwlimit ).

Vários arquivos podem ser adicionados de uma só vez e, dada a velocidade de transferência da rede, pode haver vários rsyncs sendo executados de uma só vez.

Vale a pena? Existe uma maneira melhor?

    
por seanlook 05.05.2015 / 09:37

1 resposta

9

O seu caso parece exatamente o que lsyncd foi criado para. Ele observa o diretório com inotify e gera um rsync apenas com o (s) arquivo (s) alterado (s).
Agrega alterações por alguns segundos.
Então, quando você faz 5 alterações em um segundo, ele só gera um novo processo de sincronização para o (s) servidor (es) de destino.

    
por 05.05.2015 / 09:46

Tags