Eu tenho um arquivo de 76GB que eu quero baixar do meu servidor web, mas estou com medo de que ele possa se corromper ao fazer o download via HTTP. Existem opções para baixar arquivos que verificarão se há corrupção?
Como você não mencionou nenhum, espero que não tenha restrições em relação a portas ou programas nos dois sites.
Gostaria de fazer o download via http com um cliente que possa ser retomado (por exemplo, wget -c ). Em seguida, verifique o md5sum . Se houver algo errado com isso, o que eu não esperava, eu usaria o rsync sobre o ssh, que deveria transferir (apenas) o resto. Como alternativa, você pode substituir a primeira transferência http pelo rsync, mas a http da IMO é mais simples.
O BitTorrent também é uma possibilidade, pois garante que cada parte do (s) arquivo (s) corresponda às assinaturas originais.
Também reduzirá o carregamento do servidor se muitas pessoas precisarem do arquivo.
O zsync basicamente faz o que Jakob Lenfers sugere em sua resposta, mas o BitTorrent provou ser a melhor alternativa onde ele está disponível e a conexão de rede pode pelo menos transferir alguns bits corretamente, fará o trabalho para você com o mínimo de trabalho para um dispositivo cliente / receptor. Uma versão mais amigável para o consumidor seria Syncthing .