Otimizando o envio de arquivos via conexão vpn site-a-site

Question

Eu tenho uma conexão vpn site-a-site entre dois data centers (um em San Jose e outro em Toronto).

Eu preciso enviar um arquivo de 32 GB de um DC para outro - RAPIDAMENTE POSSÍVEL.

Eu encontrei um script de shell que une os arquivos menores de 32GB e depois usa o scp para transferir de forma paralela.

A questão é como eu determino o tamanho ideal do arquivo para enviar os vários arquivos pequenos através da conexão vpn site-a-site (eu gostaria de tentar maximizar a largura de banda).

Obviamente, quanto mais processo scp eu executo no servidor, eu acho que há mais carga colocada nesse servidor.

    

Answer 1

Esqueça o site-a-site por um minuto, porque desde que seu ipsec e seus endpoints não sejam torradeiras, é improvável que seja um gargalo por si só, e dê uma olhada rápida no bbcp:

link

Aqui está uma linha do script perl que usamos durante a última migração, que tinha os mesmos requisitos que você, ou seja, mover os dados rapidamente

sprintf('/usr/local/bin/bbcp -a -F -s 16 -P 10 -T "ssh -x -a -oFallBackToRsh=no %%I -l %%U %%H /usr/local/bin/bbcp" -d . -v %s %s:%s',
  join(' ', @files_to_copy), $remote_host, $destination_dir);

Jogue com as opções, especialmente o número de threads.

As perguntas que você deseja responder são:

• qual é a latência dos links
• qual é o jitter de pacote que provavelmente será
• qual é a largura de banda máxima total que posso esperar
• quem / o que mais eu vou passar por monopolizar todo o link

O bbcp deve ser capaz de maximizar qualquer link até o ponto em que a cpu se torna o seu gargalo com os flags corretos. Boa sorte

    

Answer 2

Eu olharia para o rsync para algo tão grande.

Algo como:

rsync -ave "ssh -c arcfour -o Compressão = no -x" usuário_fonte_usuário @ destino: / caminho / para / dest

link

Dessa forma, se uma cópia parcial for interrompida por qualquer motivo, você poderá retomar o upload aproveitando os recursos internos do rsync.

    

Answer 3

Se você estiver disposto a considerar soluções comerciais, Aspera ou Signiant é muito mais rápido que scp, sftp ou rsync.