Python Scrapy sem Splash

1

Estou tentando criar um site que use uma solicitação AJAX para mostrar o conteúdo.

Eu tentei simular a chamada AJAX, mas ele usa um token diferente em seu cookie toda vez que envia a solicitação, então recebo o erro "500" e não consigo acessar o servidor.

Então eu fui para a segunda opção (ou seja, raspando o site usando splash) Eu instalei com o docker e estou correndo na porta 8050.

Em http://localhost:8050 , tenho um teste render.html console. Eu escrevo o endereço do site e quando ele deveria mostrar todo o conteúdo (incluindo os que produzem com AJAX), isso não acontece!

Eu tentei no meu projeto com códigos e middle-ware e tudo está certo, mas não está funcionando!

Qualquer ajuda seria apreciada.

B.t.w .: O endereço que estou tentando usar é: link

    
por Amirition 03.12.2017 / 10:32

1 resposta

0

Se você quer que ele seja python, você pode usar pygi ou pyqt com navegadores webkit completos. Em seguida, injete JS arbitrário na página ou analise o dom como preferir. É um navegador completo, tão mais pesado do que alguns frameworks - ele apenas funciona, a menos que você esteja tentando analisar DOM reescreve algo que usa um shadow DOM.

    
por RobotHumans 09.12.2017 / 22:47