Estou executando o comando:
wget -r --wait=2 --random-wait -P ./pdfs -A pdf -e robots=off https://www.<somesite>/documents
O comando trabalhou em outros sites para baixar recursivamente todos os pdfs, mas no site que eu preciso não está buscando nada. O log de erro detalhado indica onde ele está quebrando. Ele recebe um redirecionamento para / document / latest e depois quebra:
Deciding whether to enqueue "https://www.<somesite>/document/latest"
https://www.<somesite>/document/latest (latest) does not match acc/rej rules.
Decided NOT to load it.
Não tenho certeza se está sendo interrompido devido a um redirecionamento de segurança ou porque acha que / latest é um arquivo devido a nenhuma barra invertida. O que eu tentei até agora é apenas desmontar quantas opções eu puder, adicionando o ignorar dos robôs. Eu não posso remover -A pdf porque então eu vou ficar sobrecarregado com lixo. O que está errado aqui e como faço para corrigir isso? Muito obrigado!