wget espelhando o site falha - 403 Proibido, mesmo com o user-agent

1

Eu preciso baixar as regras mais recentes do suricata deste URL:

link

Estou tentando compor minhas próprias regras com base em diferentes regras emergentes e regras do snort também. Tentando substituir alert por drop .

Eu não consigo nem baixar todas as regras, porque o apache 2.2.22 de rules.emergingthreats.net foi configurado de alguma forma contra wget .

Meu comando parece:

# wget -m --user-agent="Mozilla/5.0 (X11; U; Linux x86_64; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3"  "https://rules.emergingthreats.net/"

Estou tentando espelhar todo o site.

--2014-07-22 06:18:49--  https://rules.emergingthreats.net/
Resolving rules.emergingthreats.net (rules.emergingthreats.net)... 204.12.217.19, 96.43.137.99
Connecting to rules.emergingthreats.net (rules.emergingthreats.net)|204.12.217.19|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: ‘rules.emergingthreats.net/index.html’

    [ <=>                                                                                                                                                                    ] 1,951       --.-K/s   in 0s      

Last-modified header missing -- time-stamps turned off.
2014-07-22 06:18:50 (23.3 MB/s) - ‘rules.emergingthreats.net/index.html’ saved [1951]

Depois disso, todos os diretórios internos me fornecem 403 Forbidden :

--2014-07-22 06:18:51--  https://rules.emergingthreats.net/blockrules/
Reusing existing connection to rules.emergingthreats.net:443.
HTTP request sent, awaiting response... 403 Forbidden
2014-07-22 06:18:51 ERROR 403: Forbidden.

Estou com sucesso a navegar no site (diretório), eu posso baixar qualquer arquivo com o meu navegador - cromo (Ubuntu).

Por que wget não consegue buscar os dados?

    
por superuser 22.07.2014 / 01:23

1 resposta

0

Tente

wget -mk -w 20 --user-agent="Mozilla/4.5 (X11; U; Linux x86_64; en-US)" https://rules.emergingthreats.net

O site pode não conhecer as especificações mais recentes do navegador e você tinha o URL do site entre aspas

    
por 22.07.2014 / 02:42