Analisando o tráfego da Akamai [fechado]

Question

Há um site do qual preciso obter informações. Este site transmite um arquivo de vídeo inclinado contra a plataforma Akamai. Eu tentei tudo o que sei para coletar informações (o URL do vídeo real) enquanto a página carrega, mas sempre obtenho os mesmos resultados (inúteis). Dito isto, se eu abrir o site no TOR - bem, as coisas são um pouco diferentes. Enquanto na navegação normal, obtenho cabeçalhos cujos URLs de solicitação são como o link , no TOR, posso obter o URL real do vídeo transmitido, que é composto por link + useful_link_part _ ., simplesmente através das ferramentas de depuração incorporadas. Em suma, navegar na mesma página em diferentes navegadores produz cabeçalhos ligeiramente diferentes.

Então, como isso funciona? Por que não consigo interceptar esses cabeçalhos "especiais" por meio da navegação "normal"? De que forma funciona o TOR?


* Entre as ferramentas que experimentei, há o Fiddler, ferramentas de depuração de navegadores, MS Network Monitor, Wireshark. Também tentei mudar IP, DNS, agentes de usuários, configurações de HTTP (S), mas sem sucesso algum.

EDIT: Talvez eu não tenha explicado a situação claramente. Em resumo, através do Firebug (extensão do Firefox) consegui alguns links que apontam para arquivos de vídeo (várias qualidades) que são como link . Esses links, quando analisados normalmente, solicitam o link Akamai correspondente do vídeo, que é semelhante ao link e, em seguida, o streaming é iniciado. Mas isso não acontece no TOR. Na verdade, analisando esse link (foo ...), a URL real do arquivo (que reside em um site satélite e não na Akamai) é solicitada e novamente o streaming é iniciado, mas desta vez a partir da URL real em si. É importante dizer que todo esse processo acontece automaticamente. Agora a verdadeira questão é: por que esse comportamento? Como o TOR consegue obter esse link no lugar do link da Akamai? Poderia ser devido a proxies?
Além disso, descobri que existe um site, o UnderGet, que permite atingir o mesmo resultado mais ou menos, recupera a URL real do vídeo a partir do primeiro link (foo). A descrição diz que " UnderGet permite que você baixe arquivos bloqueados por um firewall ou outra ferramenta em seu trabalho, escola ou país. "

    

Answer 1

Há muito tempo jantei com Daniel Lewin, um dos fundadores da Akamai e conversamos um pouco sobre a tecnologia da Akamai. Naquela época, ele estava usando conteúdo distribuído dinamicamente onde partes do conteúdo poderiam ou poderiam residir em vários hardwares. Os servidores front-end receberiam uma solicitação e, em seguida, decidiriam quais servidores naquele momento forneceriam conteúdo ao destinatário com o mínimo de degradação de desempenho. Este conteúdo pode ser montado a partir de vários servidores. Havia alguma tolice chique com os protocolos de rede para enganar todo mundo e pensar que o conteúdo vinha de uma fonte.

Não me surpreende que você esteja tendo problemas para identificar a origem, pois, na IIRC, a origem é uma fonte virtual exclusiva criada para você, o visualizador, neste momento.

Talvez isso tenha mudado em 15 anos (isso foi antes do 11 de setembro, é claro), mas, em essência, a Akamai dobra as regras.