Se você estiver usando um servidor proxy como squid
, os dados estarão disponíveis no log de acesso. O log de acesso é rotacionado e excluído eventualmente. Os dados podem ser facilmente associados ao arquivo baixado, desde que o log de acesso esteja disponível e o nome do arquivo usado para salvá-lo corresponda ao URL. Se o arquivo estiver em cache, o cabeçalho do cache conterá a origem do arquivo.
html
arquivos podem conter metadados que podem indicar o host do qual a página foi baixada.
Seria muito mais fácil se o programa de download gravasse o atributo estendido no tempo de carregamento inativo. Eu não sei de nada disso.
Ferramentas como wget
podem armazenar arquivos em uma estrutura de diretórios nomeada usando o nome de domínio da URL. Isso pode ser usado para preencher o atributo estendido.
Qual é o caso de uso para reunir esses dados?