Fazendo upload de muitos arquivos grandes para um servidor remoto

Question

Estou no processo de criar um backup externo e preciso fazer um carregamento inicial de dados. Atualmente, isso é cerca de 400Gb, mais ou menos 10Gb ou mais ... O sistema de backup está produzindo arquivos com cerca de 4Gb cada, e tem outros arquivos relacionados menores também. Então, eu preciso transferir todos os shows de 400ish para um servidor remoto, mas como? Qual é o melhor método?

Eu tenho acesso remoto total ao servidor, para que eu possa instalar qualquer coisa que eu precise instalar. Há Windows, Linux e uma VM Solaris rodando na própria caixa, então qualquer um deles pode ser usado lá, e eu tenho Windows e Linux em casa. Eu tenho 2 conexões de internet em casa, upload de 10Mb / s em cada, então algo que potencialmente poderia dividir o número de conexões seria útil (como GetRight, mas em sentido inverso ... PutRight?).

[Update] Eu tentei a opção abaixo de usar RSync, mas há apenas uma conexão sendo feita entre a minha estação de trabalho e o servidor. Ao fazer o upload de arquivos grandes para a Amazon, existe a opção de separá-los localmente e desatá-los no servidor. Vários arquivos também são enviados em várias conexões. Assim, um arquivo de 4Gb pode ser dividido em 800 ish de 5Mb e enviado 4 ou 8 de cada vez, usando o máximo possível de sua largura de banda de upload. Então, como eu faria isso automaticamente? Eu poderia hackear algo para fazer isso e usar o SFTP para enviar os arquivos, mas existe uma opção automagic?

    

Answer 1

O rsync funcionará melhor, provavelmente.

rsync -avzP /source user@host:/destination

A sintaxe acima pode ser usada para copiar os arquivos em ssh e permitir que você retome a transferência de onde parou no caso de uma desconexão. Os -v e -P são ambos opcionais, mas altamente recomendados no seu caso.

-v diz ao rsync para imprimir o arquivo atual na tela.

-z diz ao rsync para compactar os dados. Isso pode aumentar muito a velocidade de transferência em conexões WAN.

-P diz ao rsync para fazer duas coisas: Primeiro, forneça um percentual de progresso para a tela, o mesmo que --progress . Segundo, ele deixará os arquivos parcialmente transferidos no servidor, portanto, se houver uma desconexão, ele deixará esse arquivo parcial no servidor para que você possa reiniciá-lo. Isso é o mesmo que --partial

Como se pretende que seja um backup externo, há muitas opções que você pode usar no rsync para torná-lo muito robusto. Você pode facilmente transformá-lo em um backup incremental também, se desejar.

Durante uma segunda transferência, se algum dos dados tiver mudado, o rsync apenas copiará as alterações mais recentes, deixando o resto sozinho.