allpackages.txt.gz tem dois tamanhos de arquivo diferentes?

Question

Eu vi o link e eu queria para contar o número de pacotes no teste.

Eu tentei compartilhá-lo aqui: -

http://packages.debian.org/testing/allpackages?format=txt.gz
Resolving packages.debian.org (packages.debian.org)... 5.153.231.3, 2001:41c8:1000:21::21:3, 2001:8d8:880:901::1a1:4
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://packages.debian.org/testing/allpackages?format=txt.gz [following]
--2014-10-08 01:52:54--  https://packages.debian.org/testing/allpackages?format=txt.gz
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1039782 (1015K) [text/plain]
Saving to: ‘allpackages?format=txt.gz’

100%[======================================================================================================>] 10,39,782   64.0KB/s   in 13s    

$ mv allpackages\?format=txt.gz allpackages.txt.gz

$ gunzip allpackages.txt.gz

$ ll -h allpackages.txt 
-rw-r--r-- 1 shirish shirish 4.9M Oct  7 23:53 allpackages.txt

Se, no entanto, tentar obter allpackages sem ser comprimido, recebo o seguinte: -

$ wget http://packages.debian.org/testing/allpackages
--2014-10-08 01:52:11--  http://packages.debian.org/testing/allpackages
Resolving packages.debian.org (packages.debian.org)... 5.153.231.3, 2001:41c8:1000:21::21:3, 2001:8d8:880:901::1a1:4
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:80... connected.
HTTP request sent, awaiting response... 302 Found
Location: https://packages.debian.org/testing/allpackages [following]
--2014-10-08 01:52:11--  https://packages.debian.org/testing/allpackages
Connecting to packages.debian.org (packages.debian.org)|5.153.231.3|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 10110498 (9.6M) [text/html]
Saving to: ‘allpackages’

 9% [========>                                                                                              ] 9,49,116    55.5KB/s  eta 1m 48s 
Terminated

Alguma ideia da diferença de mais de 100% dos tamanhos de bytes entre essas duas contagens? Um 4,9 MB e os outros 9,6 MB?

Editar: pergunta de acompanhamento em Como encontrar o número de 'aplicativos' exclusivos no Debian jessie

    

Answer 1

Observe como ele diz [text/html] para o segundo, não [text/plain] . Você não está buscando a lista de pacotes, você está buscando uma página da Web que contém a lista de pacotes, junto com um monte de outras formatações.

Mas, na verdade, você quer buscar a versão compactada; Ele salvará você e o tempo e dinheiro do Debian. Você pode fazer isso com um comando:

wget 'http://packages.debian.org/testing/allpackages?format=txt.gz' -O - | gunzip > allpackages.txt

Ou conte as linhas diretamente (mas note que isso está errado devido a linhas extras no início do arquivo):

wget 'http://packages.debian.org/testing/allpackages?format=txt.gz' -O - | gunzip | wc -l