Registrando conexão de rede completa como no navegador

Question

Posso configurar meu navegador ou fazer o download de um aplicativo especial para registrar / fazer o download de tudo o que está passando pela rede enquanto navego em um site?

Quando eu abro um site no Firefox, ele baixa os arquivos em pastas temporárias, mas eu preciso de tudo, e por tudo quero dizer log completo de requisição Ajax, download de imagens ... etc Cada arquivo que é baixado enquanto navega por sites (e não temporário, eu preciso deles mais tarde, então deve registrar e categorizar de alguma forma).

Caso contrário: Eu quero salvar automaticamente tudo o que você pode ver na guia de rede do navegador (depois de pressionar F12) e não apenas a resposta, também precisa das informações sobre o que ele enviou e o que recebeu de volta.

    

Answer 1

O Wireshark é um programa gratuito para Windows, Mac OS e Linux que pode monitorar e registrar todos os pacotes de rede de e para a sua máquina. incluindo o navegador e outros tráfegos de rede. As capturas de pacotes podem ser salvas para visualização posterior.

Para usar em sua forma mais simples, basta selecionar sua interface de rede e iniciar a captura. Os pacotes podem ser visualizados e filtrados / não filtrados durante a captura ativa, bem como depois de você parar, inclusive se você salvar a captura depois de salvá-la anteriormente.

    

Answer 2

O Firefox e outros navegadores têm ferramentas para desenvolvedores da web. Para o Firefox, o "Console da Web":

link

    

Answer 3

Usar a opção "Página da Web, Completa" por meio da opção Salvar do navegador deve obter a maioria dos elementos da página em uma pasta com o mesmo nome do título da página da Web. Para páginas da Web geradas dinamicamente, você pode obter um conjunto diferente de arquivos relacionados à página da Web principal, com cada exibição.

Algumas páginas da web buscam imagens apenas quando a página é rolada. Para essa renderização condicional de elementos de página, duvido que exista alguma ferramenta que obtenha TODOS os arquivos associados. Conheço ferramentas de "lixiviação" de página da Web que obteriam todos os arquivos estáticos para acesso off-line, mas podem ser ineficazes nos casos em que o conteúdo da página da Web é buscado dinamicamente