Google Cloud Storage - Arquivo diferente via http vs https

Question

Estou enfrentando um bug muito estranho com o Google Cloud Storage.

Enviei um arquivo de preenchimento zero de 1MB para um bloco e, sempre que eu baixá-lo com http, obtenho um arquivo diferente (conteúdo diferente, md5 diferente, mesmo tamanho) do que se eu baixá-lo com https (o que me ajuda arquivo).

O verdadeiro MD5 é: b6d81b360a5672d80c27430f39153e2c

Exemplo: (Você pode experimentar em casa)

wget http://storage.googleapis.com/weirdbug/test1m.test
md5 test1m.test
// MD5 (test1m.test) = 0575922c3eda2ae6fb2865cc136f65ee
rm test1m.test
wget https://storage.googleapis.com/weirdbug/test1m.test
md5 test1m.test
// MD5 (test1m.test) = b6d81b360a5672d80c27430f39153e2c

Eu quero acreditar que estou fazendo algo errado do meu jeito, mas não consigo entender.

Alguma ideia? Eu pensei que o GCE Storage deveria funcionar da mesma forma com HTTP & HTTPS.

    

Answer 1

A soma MD5 correta para um arquivo de um mibibyte composto inteiramente de zero bytes é b6d81b360a5672d80c27430f39153e2c (aquele que você viu para HTTPS), então algo está acontecendo com o seu wget HTTP. Eu estou querendo saber se talvez você tenha um proxy ou algo que esteja inserindo lixo na sua resposta, o que não acontece com sua solicitação HTTPS.

Veja o que vejo quando tento isso:

$> dd if=/dev/zero of=/tmp/test1m.test bs=1024 count=1024
1024+0 records in
1024+0 records out
1048576 bytes (1.0 MB) copied, 0.00866687 s, 121 MB/s
$> md5sum /tmp/test1m.test 
b6d81b360a5672d80c27430f39153e2c  /tmp/test1m.test
$> gsutil cp -a public-read /tmp/test1m.test gs://special-test/
Copying file:///tmp/test1m.test [Content-Type=application/octet-stream]...
Uploading   gs://special-test/test1m.test:                     1 MiB/1 MiB      
$> wget http://storage.googleapis.com/yarbrough-test/test1m.test
$> md5sum test1m.test
b6d81b360a5672d80c27430f39153e2c  test1m.test