Wget rastejando sem arquivo de download

Question

Estou apenas tentando contar quantos URLs correspondem ao padrão x--*.html . Nesse caso, todos os arquivos correspondentes estão sendo baixados.

$ wget --random-wait --mirror --no-parent -A x--*.html myBaseURL &

Como eu só quero uma contagem, existe alguma maneira de evitar a transferência de todas essas páginas?

OBSERVAÇÃO: sei que existe um comando --delete-after , mas ele ainda é transferido.

Alguma idéia?

    

Answer 1

Eu não acredito que exista uma opção para fazer isso. Para analisar o conteúdo desses arquivos para ver se há links adicionais, wget precisa baixá-los.

Sua melhor opção provavelmente será fazer isso:

$ wget --random-wait --mirror --no-parent -A x--*.html myBaseURL -O /dev/null &

Para contar as correspondências:

wget --random-wait --mirror --no-parent -A x--*.html myBaseURL -O | wc -l