Eu tenho algumas transferências de arquivos bastante grandes em todo o Atlântico todas as manhãs pelo ftp. De tempos em tempos, as transferências serão distrupted, provavelmente devido a problemas de conectividade, e os arquivos serão deixados em um estado incompleto.
Eu estou querendo saber se existe uma maneira melhor de lidar com essas transferências de arquivos. Diria, rsync ou scp ser mais resiliente à perda periódica de conectividade? O melhor seria se a transferência fosse reconectada e continuasse de onde parou, caso fosse interrompida.
Grande, neste caso, significa arquivos com vários GiB e transferências que duram várias horas.
Eu acredito que este é um caso onde o rsync deve funcionar bem. O Rsync faz um trabalho muito bom em retomar de onde parou quando uma transferência está incompleta. Se uma versão mais antiga do arquivo já existir no lado remoto, o rsync é realmente bom em transmitir apenas as diferenças.
Eu realmente não acho que scp é o que você quer. Se você precisar transmitir através do ssh, você pode passar a opção -e ssh para rsync e o ssh será usado como o transporte.
Eu classifico a opção rsync , no entanto, se você quiser que ela retome a transferência de um arquivo grande, não se esqueça de usar a opção de linha de comando --partial , o que significa que ela não exclui o arquivo temporário. arquivo que estava sendo gravado quando o link foi desativado. Você provavelmente terá que chamá-lo em um loop que tente novamente quando o link cair.
Algo como
until rsync --partial -e ssh sourcefile remote:destination; do
echo Retrying;
done
Por que não o BitTorrent? Você ganha vários bônus se você usá-lo. Pelo menos transferências confiáveis e disponibilidade para sementes de vários locais.
Definitivamente, use rsync com -P - mas para um melhor desempenho sobre o Atlântico você provavelmente desejará usar uma das ferramentas de transferência de arquivos baseadas em UDP - Aspera, FileCatalyst - ou o Tsunami UDP de código aberto.
Talvez Direct Connect (ou outro protocolo P2P) seja a melhor escolha para você?
Você já checou acellion? Eles são um hibrido ftp / webmail. Usamos isso para nossos designers gráficos para enviar de forma segura e fácil arquivos grandes para as impressoras.
Eles oferecem um appliance virtual gratuito. Ele também tem criptografia, notificação de entrega e prevenção de encaminhamento, tamanho máximo de arquivo de 2 GB, tudo incorporado gratuitamente.
Se você paga, pode configurar a automação e permitir arquivos de até 10 GB.
Tags linux file-transfer