Obtém o tamanho total de uma lista (contendo links HTTP)

Question

Eu tenho um arquivo contendo uma lista de arquivos na web, e gostaria de saber o tamanho total dos arquivos (em formato legível por humanos) e verificar sua disponibilidade. Existe um comando / solução para fazer isso?

P.S. Eu sei que devo usar wget --spider , mas não sei como usá-lo com uma lista.

    

Answer 1

Você pode usar o curl para obter o tamanho de um arquivo na Web sem baixá-lo (contanto que o servidor da Web forneça essas informações.) A técnica é detalhada aqui .

Agora, repita a lista para obter o tamanho de cada arquivo:

cat files.lst | xargs -n 1 -I {} curl -sI {} | grep Content-Length | awk '{print $2}'

para obter a lista de tamanhos.

EDIT: Você pode, claro, usar o awk para somar os tamanhos:

awk '{ sum+=$2 } END { print sum}'