Transferência confiável de arquivos em um link de rede lento ou escamoso

Question

Eu preciso transferir vários arquivos de arquivos por um link de banda larga de baixa qualidade para um servidor. Os arquivos são grandes e levam aproximadamente 30 minutos para serem transferidos por arquivo.

Eu uso o scp, mas às vezes ele trava - a transferência não falha com um erro, ele continua em execução, mas nenhum outro dado é transferido.

Por isso, estou procurando uma solução de upload "à prova de falhas", que funcione mesmo se o link falhar por alguns minutos ou não for confiável.

Minha ideia é:

1. divida arquivos grandes em pequenas partes
2. faça upload de peças com tempo limite e tente novamente se falhar

Perguntas:

• existe uma ferramenta pronta para executar que implementa essa ideia? (nenhuma necessidade específica de scp pode ser ftp ou qualquer outra coisa)
• existe uma maneira de detectar quando o scp trava? ((isto é, ainda está em execução, mas não transfere dados)

Answer 1

Você pode usar o rsync para copiar seu arquivo de um computador para outro. O rsync pode usar o ssh como seu transporte subjacente. Combine rsync --partial com um script como este para tentar novamente em caso de falha de rede, e você deve ser capaz de mova seus arquivos mesmo em caso de erros de rede.

Outra maneira de fazer isso seria montar o sistema de arquivos remoto em seu computador local com sshfs -o reconnect e, em seguida, apenas copiar o (s) arquivo (s). O sshfs / Linux cuidará do resto. Com base em alguns testes que fiz hoje, isso parece ser muito mais lento que o rsync.

Finalmente, você pode configurar uma VPN entre as duas máquinas. Isso envolve mais trabalho, e qualquer uma das soluções acima é muito mais fácil, mas resolveria o problema de uma conexão de rede escamosa. E como algumas pessoas notaram, isso também pode ser esquisito. Ele pode funcionar se a VPN for muito agressiva em relação ao restabelecimento de conexões, como o OpenVPN, mas as soluções acima são muito melhores.