Será que 5 GB de imagens jpeg levam o mesmo tempo para baixar e / ou importar 5 GB de texto sem formatação?

Question

Estou apenas imaginando, já que agora estou importando todas as minhas fotos de um CD que meu pai gravou para mim. Fiquei curioso para saber se 5 GB de fotos demoravam o mesmo tempo exato que 5 GB de texto ao fazer esse tipo de transferência. Como pode haver 'sobrecarga' associada aos diferentes formatos de arquivo, mesmo que eles sejam cumulativamente do mesmo tamanho ...

edit: na verdade não é um CD-ROM, mas um DVD-R

    

Answer 1

A resposta é "depende". Depende do que você entende por "download".

Se você estiver fazendo o download de um site, alguns sites compactam arquivos "on the fly" automaticamente, e o texto é compactado muito bem, enquanto o JPEG já está compactado, portanto, ele não será compactado. Neste caso, haverá uma grande diferença.

Se você está apenas usando um comando de cópia para copiar arquivos de um computador para outro, então não haverá diferença. No entanto, se você estiver empregando algum tipo de ferramenta especializada, então, novamente, isso depende se essa ferramenta usar compactação automática ou não. A única diferença entre o jpeg e o texto é a possibilidade de compactar os arquivos.

Não há diferença na "sobrecarga" associada à transferência de arquivos, independentemente do arquivo.

    

Answer 2

Com 5 GB de fotos, você provavelmente estará falando sobre alguns milhares de arquivos de tamanho razoável, digamos, de 3MB + cada. Se você baixasse 5 GB de arquivos de texto, normalmente esperaria que cada arquivo fosse muito menor. Então você provavelmente estaria lidando com uma ordem de magnitude ou dois arquivos extras (centenas de milhares ou milhões de arquivos).

Copiar muitos arquivos pequenos demora mais do que copiar a mesma quantidade de dados em arquivos maiores. Existe uma sobrecarga razoável na criação de cada arquivo individual.

Não é suficiente para fazer uma diferença enorme, provavelmente, mas ainda assim uma diferença.

    

Answer 3

O "Depende" no ftp está nos detalhes finos.

ftp Modo binário apenas uma transferência direta e levará o tempo necessário para 5 GB.

Se você estiver indo do Windows para o Linux como uma transferência de texto em ftp (para obter surpreendentemente texto simples), o ftp realmente altera os terminais de linha de / r / n para / n e vice-versa. Há provavelmente um pouco de sobrecarga na substituição de streaming, mas com 5GB de texto, você terá menos para gravar no disco indo de win para lin quando você soltar um caractere por linha, e mais indo de lin para win quando você adicionar um caractere por linha.

Então, são 5 GB no Linux? ou Windows?

Chega de pedantismo por uma noite, indo dormir!

    

Answer 4

Não há sobrecarga associada aos arquivos, mas alguns recursos de armazenamento / transferência suportam a compactação automática, e isso pode introduzir uma diferença.

Ao copiar do DVD para uma unidade descompactada, não há diferença. Ao copiar para uma unidade NTFS compactada, o texto ocupará menos espaço que os JPEGs.

Ao fazer o download do servidor HTTP que usa compactação, o texto levará menos tempo para ser baixado. Mas se o servidor não usar compactação, não haverá diferença.

Além disso, falando sobre sobrecarga, um milhão de arquivos pequenos com 5GB de tamanho total ocupará mais espaço e mais tempo para copiar do que um único arquivo de 5GB, pois esse 5GB não inclui espaço necessário para armazenar nomes de arquivos, datas e outros metadados.

    

Answer 5

Este é um acréscimo às outras respostas que abordam a compactação, etc., como fatores que afetam a eficiência e o tempo de download.

Um ponto que ainda não foi mencionado é a eficiência do pacote . Eu duvido que a maioria das pessoas tenha se deparado com isso, então aqui está um breve resumo.

Antes de nos aventurarmos a usar os serviços da Web, queríamos saber a diferença de eficiência entre usá-los e usar uma conexão de banco de dados mais "padrão" (como OleDb, System.Data.SqlClient, JDBC, etc). Nosso guru colocou sniffers de pacotes no local para rastrear os fluxos de dados na rede para ver a diferença.

Esperávamos que o uso de serviços da Web fosse menos eficiente devido ao formato binário dos outros tipos de conexões e à sobrecarga adicional das marcas XML usadas para descrever os dados.

O que descobrimos foi que os serviços web eram, em muitos casos, MAIS eficientes, pelo menos em nossa rede. A diferença era que quando se transferiam dados binários, alguns dos bytes dentro dos pacotes estavam vazios, mas ao enviar dados de texto, os pacotes eram usados com mais eficiência.

Achamos isso interessante, e tentamos ao transferir diferentes tipos de arquivos e descobrimos que, via de regra, o texto simples passando pela rede sempre usava 100% dos bits disponíveis em cada pacote, onde as transferências binárias costumavam ter bits não usados . Por que isso é, eu não poderia te dizer, mas vários experimentos confirmaram isso.

Vários comentários sobre a questão pareciam desconsiderar isso como uma questão obviamente falha, mas na verdade não é. Mesmo que a quantidade de dados permaneça a mesma, a eficiência do pipe também é importante.

Porque não posso resistir a fazer analogias que uma pessoa que não seja de TI entenderia:

Uma única prateleira em um freezer em uma mercearia tem x quantidade de espaço, mas você pode colocar mais galões de sorvete em uma prateleira se os recipientes forem quadrados do que você pode se eles forem redondos, por causa do espaço desperdiçado criado usando recipientes redondos. Nossos testes, embora contra-intuitivos no início, nos disseram o que qualquer armazenista de mercearia poderia ter nos dito.

    

Answer 6

A sabedoria tradicional diz que 5GB é 5GB. No entanto, existem alguns cenários em que esses dois não são iguais; tem a ver com a diferença na forma como os dados dos arquivos são estruturados.

Primeiro, os JPEGs são compactados. Para visualizar a imagem, o arquivo deve primeiro ser descompactado e, para a esmagadora maioria dessas imagens, você deve ter o arquivo inteiro para fazer isso. Existem JPEGs progressivos que fornecem uma imagem iterativamente mais nítida à medida que são carregados, mas raramente são usados em uma era em que o DSL e outras conexões de alta velocidade são muito comuns. O texto, por outro lado, é mais ou menos streamable; Assim que você tiver um byte (ou dois ou quatro, dependendo da codificação UTF usada), você poderá mostrar esse caractere. Mesmo os mecanismos de transferência de dados mais antigos podem carregar o texto mais rápido do que você pode lê-lo. Assim, um JPEG de 5 GB levaria mais tempo para exibir algo do que um arquivo de texto de 5 GB.

Em segundo lugar, também porque os JPEGs são compactados, eles não funcionam bem com navegadores ou programas / protocolos de transferência de arquivos que compactam grandes quantidades de dados antes da transmissão. Você pode ver isso zerando um arquivo ZIP; a menos que o segundo processo ZIP foi configurado para fazer mais compactação (diminuindo a velocidade), você não verá muita diferença no tamanho. Isso significa que, ao usar uma dessas ferramentas, 5 GB não é 5 GB; os JPEGs ainda terão cerca de 5 GB, mas o texto pode ser compactado, talvez até 1 GB ou menos. Se você estivesse comparando 5GB de arquivos bitmap com 5GB de texto simples, a comparação seria muito mais próxima.

No entanto, simplesmente mover 5GB de arquivos de um computador para outro usando NTP, FTP ou HTTP, sem qualquer compressão ou mecanismo "doanload booster" usado, levará aproximadamente o mesmo tempo geral; qualquer diferença seria resultado de diferentes níveis de tráfego de rede em qualquer segundo durante cada transferência.

    

Answer 7

5 GB de uma unidade óptica deve ser o mesmo - se JPG ou texto. Transferido pela rede, lembro dos tempos dos modems, que tinham, dependendo do hardware, uma compressão embutida, de modo que um JPG de 5 GB já comprimido não seria mais comprimido, mas um texto de 5 GB normalmente teria muito potencial para compressão.

Então por que isso não é usado para discos rígidos? Talvez você precisaria de muita lógica no disco rígido, também vulnerável a compressão de aquecimento do disco rígido muito e muito fácil de compactar dados explicitamente, se quisesse? Talvez exista para algumas unidades?