Gerenciador de download da Web ciente de apenas arquivos novos e alterados

Question

Estou procurando um gerenciador de downloads da Web que possa ser inteligente e apenas substituir ou renomear apenas arquivos de tamanho novos ou alterados. Algumas vezes por ano eu preciso atualizar cópias locais de várias dezenas a centenas de gigabytes de arquivos.

Até hoje, eu usei o FileZilla e o WinSCP, que têm a capacidade de comparar o carimbo de data / hora do arquivo local e o tamanho do arquivo com a cópia do servidor, e só baixam o que é diferente. Um recurso muito útil que economiza horas e horas de tempo e 100s de GB de largura de banda, tanto para mim quanto para os hosts.

O ftp ainda funciona, mas os hosts controlam o ftp para 4 conexões e a velocidade máxima combinada é de ~ 1-2MB / s. O mesmo site sobre http é limitado a 8 conexões e velocidade combinada de ~ 3-4MB / s. Com ftp eu preciso definir o trabalho para ser executado durante a noite e ver como as coisas foram de manhã (e, possivelmente, refazer alguns). Com o http, posso correr para deixar o trabalho rodar no almoço mais um pouco, mesmo quando sobrescrevendo tudo cegamente, em vez de apenas alterar arquivos, e responder a erros ou refazer os fatos imediatamente.

Então, existe alguma maneira de fazer o download em massa de apenas novos arquivos alterados de uma fonte http?

O Windows prefere, mas posso criar uma VM Linux se esse for o melhor curso.

Isso está em uma configuração corporativa que proíbe e impõe um conjunto de regras de firewall "sem torrents". Que pena, este é um cenário perfeito para uma aplicação não-warez de tecnologia peer to peer.

Uma fonte para testar com: link

    

Answer 1

Que tal algo assim?

wget -Nr -A.zip  http://ftp2.cits.rncan.gc.ca/pub/geobase/official/nhn_rhn/gdb_en/01