Como detecto arquivos duplicados dentro e através de torrents?

Question

Se eu estou baixando um monte de torrents, existe uma maneira ou um cliente que detecta arquivos já baixados e pára de baixá-los?

Editar: Esclarecendo a partir dos comentários. Sim, isso significa encontrar arquivos duplicados entre diferentes torrents e evitar baixá-los.

Eu sei que alguns clientes permitem que você selecione quais arquivos dentro de um torrent para download. É possível obter uma soma de verificação de arquivos individuais dentro de um torrent, antes de baixá-los? Se assim for, eu poderia fazer um script ou algo assim.

    

Answer 1

Não é possível determinar se um arquivo em um torrent também existe em outro torrent a partir dos dados disponíveis nos arquivos .torrent. Simplesmente não há suporte à deduplicação no protocolo padrão do BitTorrent.

Quando um torrent é criado, todos os arquivos nele são concatenados juntos e depois fragmentados em pedaços.

example:
Files  |---#1|#2|---#3|-----------------------#4|#5|------#6|-----#7|-------#8|
Pieces |--0|--1|--2|--3|--4|--5|--6|--7|--8|--9|-10|-11|-12|-13|-14|-15|-16|17|

• Todas as peças têm o mesmo tamanho, exceto a última.
• Um arquivo tem uma ou mais partes.
• Uma peça pode conter (partes de) mais de um arquivo.
• É muito raro alinhar limites internos de arquivos e peças (exceto se arquivos de preenchimento forem usados).
• Um arquivo em um arquivo multi-torrent quase sempre tem um pedaço compartilhado com outro arquivo.

O problema é que não é possível criar um hash de arquivo dos hashes da peça.

(@ jdwolf Mesmo se o arquivo # 1 e o arquivo # 3 forem idênticos, todos os hashes deles serão diferentes.)

Existem alguns programas criadores de torrent que, opcionalmente, podem adicionar hashes de arquivo, mas o afaik não é usado em lugar algum.