rsync de várias fontes

Question

Eu tenho uma coleção de músicas de 40G que preciso sincronizar com um servidor em outro país.

No momento, estou passando por isso, no entanto, tenho a mesma coleção 40G em duas máquinas com duas conexões de internet.

Idealmente, gostaria de iniciar o rsync de ambas as fontes para fazer isso duas vezes mais rápido. A solução correta seria criar um torrent e depois usar as duas caixas como sementes, mas a extremidade do upstream tem tráfego de torrents bloqueado (e prefiro não interromper isso, o provedor está me fazendo um favor).

Alguma idéia de como realizar isso? No momento, estou pensando em dividir os diretórios restantes pela metade e especificá-los todos na linha de comando, mas isso parece feio, e provavelmente terei que fazer isso mais de uma vez.

    

Answer 1

O Rsync gosta de copiar arquivos na mesma ordem. Se você quiser que vários rsyncs funcionem em paralelo, a abordagem mais fácil pode ser particionar manualmente o trabalho entre dois.

Por exemplo, na máquina A:

rsync -avz foo/[A-Ga-g]* remote:foo/

E então, na máquina B:

rsync -avz foo/[H-Zh-z]* remote:foo/

Você deseja que os conjuntos de arquivos sejam de tamanho comparável. Em algum momento, há um retorno decrescente com base na rede disponível e na largura de banda do disco no sistema de destino.