Eu sou uma espécie de colecionador e meu NAS é meio que invejado por meus amigos. Mas compartilhar minha coleção é uma dor com todo mundo espalhando muitos KMs pela minha cidade e o Canadá tendo lixo eletrônico. Eu tive a idéia de fazer unidades mini NAS descartáveis para eles a partir de PCs antigos ou rpi, o que é prático e barato. Um único disco de 1 TB no TOPS. Para este fim, tenho tentado encontrar uma maneira de baixar arquivos apenas uma vez.
Eu quero a opção youtube-dl do --download-archive em aria2c , curl , lftp , rsync ou wget . Eu realmente não me importo com o que a ferramenta é, desde que seja "popular" e empacotada na maioria das distros. Se um transporte é obrigatório, isso não me incomoda muito, mas o http ou o ssh seriam os preferidos. Supondo que um download seja bem-sucedido, não quero que o arquivo seja substituído se o arquivo dest (cópia NAS descartável) for excluído.
Eu pesquisei um pouco e o mais próximo que cheguei foi usar lftp e, em seguida, processar a --log= output antes de voltar a colocá-la em --exclude-glob-from=FILE .
Isso parece ser um esforço quase manual para algo que não posso imaginar que sou a primeira pessoa a querer. Alguém já fez isso antes e você pode compartilhar quais ferramentas você usou?
rsync deve ser encontrado em qualquer distribuição Linux e pode ser usado para sincronizar todo um servidor, sistema de arquivos ou diretório de uma só vez, com listas de arquivos / padrões inclusos ou excluídos, se desejar.
Você também pode fazer rsync em uma conexão ssh se não quiser configurar o serviço rsync, embora seja um pouco mais lento. Ele tem uma opção --exclude-from=FILE e um --exclude=PATTERN (além de incluir versões).