Comentando em uma lista de wget?

Question

Eu preciso baixar cerca de 100 pacotes, então estou usando o wget-list para facilitar. Minha pergunta, no entanto, é assim que eu fiz a lista (suponho que esteja em um formato .txt), há uma maneira de inserir comentários nela que o wget irá ignorar? Algo parecido com isto:

#This is a comment
http://someurl.com
http://anotherurl.com

    

Answer 1

Não parece :

If --force-html is not specified, then file should consist of a series of URLs, one per line.

Você pode experimentar comentários no estilo HTML: <!-- Comment --> - talvez esses são interpretados como comentários, embora eu não conte com isso.

Você também pode usar o parâmetro --force-html e alimentá-lo em HTML - um formato no qual você teria toda liberdade para comentar o quanto quiser. A desvantagem é que ele adiciona muita confusão:

<!-- This is a comment -->
<a href="http://someurl.com"></a>
<a href="http://anotherurl.com"></a>

    

Answer 2

Basta colocar comentários no seu sem notação, o wget simplesmente os selecionará como URLs inválidos.

    

Answer 3

Você pode canalizar por grep ou sed para remover comentários:

grep -v '^#' ~/list.wget | wget -i- -c -B http://base.url.if_needed

    

Answer 4

Eu testei o wget usando a lista disponível no link

Eu descobri que wget não suporta um caractere de comentário. No entanto, o seguinte gera erros rápidos de "URL inválido":

:  Test comment 1   list: Invalid URL :  Test comment 1: Scheme missing
:: Test comment 2   list: Invalid URL :: Test comment 2: Scheme missing
#  Test comment 3   list: Invalid URL http://#  Test comment 3: Invalid host name
// Test comment 4   list: Invalid URL // Test comment 4: Scheme missing

Estes não foram listados no artigo da Wikipedia, mas também causam erros rápidos de "URL inválido"

/ Test comment 1    list: Invalid URL / Test comment 1: Scheme missing
[ Test comment 1    list: Invalid URL http://[ Test comment 1: Unterminated IPv6 numeric address
@ Test comment 1    list: Invalid URL http://@ Test comment 1: Invalid user name
? Test comment 1    list: Invalid URL http://? Test comment 1: Invalid host name

As sequências de caracteres de entrada do comentário restante causaram problemas tentativa de resolver um nome de domínio usando o DNS, resultando em pelo menos oito linhas de saída de erro.

Eu também descobri que o wget verifica todo o arquivo da lista e cria uma lista de URLs para buscar antes de começar a buscar. Por exemplo, se você tiver um arquivo de lista contendo:

# test comment 1
# test comment 2
http://superuser.com/questions/265711/commenting-in-a-wget-list

# test comment 3
# test comment 4
# test comment 5
# test comment 6

A saída do wget é:

list: Invalid URL http://# test comment 1: Invalid host name
list: Invalid URL http://# test comment 2: Invalid host name
list: Invalid URL http://# test comment 3: Invalid host name
list: Invalid URL http://# test comment 4: Invalid host name
list: Invalid URL http://# test comment 5: Invalid host name
list: Invalid URL http://# test comment 6: Invalid host name
--2015-08-19 14:03:55--  http://superuser.com/questions/265711/commenting-in-a-wget-list
Resolving superuser.com (superuser.com)... 190.93.247.58, 190.93.244.58, 141.101.114.59, ...
Connecting to superuser.com (superuser.com)|190.93.247.58|:80... connected.
HTTP request sent, awaiting response... 200 OK
<snip>

Assim, enquanto: :: # / // [@? todos podem ser usados com segurança como caracteres iniciais de comentários; os erros resultantes serão exibidos primeiro e não estarão alinhados com as tentativas do wget de buscar páginas.