Por que existe uma diferença tão grande entre “Size” e “Size on disk”?

Question

Como você pode ver abaixo, há muita diferença entre os campos Tamanho e Tamanho no disco na minha pasta. Por que isso?

Eu sei que Tamanho no disco deve ser um pouco mais do que Tamanho por causa das unidades de alocação no Windows, mas por que muita diferença? Poderia ser por causa do grande número de arquivos?

BTW, esta pasta está no cartão SD do meu telefone Android. Dentro disso, meu aplicativo de mapas armazena seus mapas em cache e o aplicativo obtém seu mapa do Google Maps.

    

Answer 1

^{Eu suponho que você esteja usando o sistema de arquivos FAT / FAT32 aqui, já que você mencionou que este é um cartão SD. O NTFS e o exFAT comportam-se de forma semelhante no que diz respeito às unidades de atribuição. Outros sistemas de arquivos podem ser diferentes, mas eles não são suportados no Windows de qualquer maneira.}

Se você tem muitos arquivos pequenos, isso é certamente possível. Considere isto:

• 50.000 arquivos.

• Tamanho do cluster de 32 kB (unidades de alocação), que é o máximo para FAT32

Ok, agora o espaço mínimo é 50.000 * 32.000 = 1,6 GB (usando prefixos do SI, não binários, para simplificar as contas). O espaço que cada arquivo ocupa no disco é sempre um múltiplo do tamanho da unidade de alocação - e aqui estamos assumindo que cada arquivo é realmente pequeno o suficiente para caber dentro de uma única unidade, com algum espaço (desperdiçado) sobrando.

Se cada arquivo tivesse uma média de 2 kB, você teria cerca de 100 MB no total - mas também está perdendo 15x (30 kB por arquivo), em média, devido ao tamanho da unidade de alocação.

Explicação detalhada

Por que isso acontece? Bem, o sistema de arquivos FAT32 precisa manter o controle de onde cada arquivo está armazenado. Se fosse para manter uma lista de cada byte, a tabela (como um catálogo de endereços) cresceria na mesma velocidade que os dados - e gastaria muito espaço. Então, o que eles fazem é usar "unidades de alocação", também conhecidas como "tamanho do cluster". O volume é dividido nessas unidades de alocação e, no que diz respeito ao sistema de arquivos, elas não podem ser subdivididas - esses são os menores blocos que podem ser endereçados. Assim como você tem um número de casa, mas seu carteiro não se importa com quantos quartos você tem ou quem mora neles.

Então, o que acontece se você tiver um arquivo muito pequeno? Bem, o sistema de arquivos não se importa se o arquivo for 0 kB, 2 kB ou até 15 kB, ele dará o menor espaço possível - no exemplo acima, isto é 32 kB. Seu arquivo usa apenas uma pequena quantidade desse espaço, e o resto é basicamente desperdiçado, mas ainda pertence ao arquivo - muito parecido com um quarto que você deixa desocupado.

Por que existem diferentes tamanhos de unidade de alocação? Bem, isso se torna uma troca entre ter uma mesa maior (livro de endereços, por exemplo, dizer que John é dono de uma casa na 123 Fake Street, 124 Fake Street, 666, etc.) ou mais espaço desperdiçado em cada unidade. Se você tiver arquivos maiores, faz mais sentido usar unidades de alocação maiores - porque um arquivo não recebe uma nova unidade (house) até que todos os outros sejam preenchidos. Se você tiver muitos arquivos pequenos, bem, você vai ter uma grande mesa (catálogo de endereços) de qualquer maneira, assim também pode dar-lhes pequenas unidades (casas).

Grandes unidades de alocação, como regra geral, desperdiçarão muito espaço se você tiver muitos arquivos pequenos. Geralmente não há uma boa razão para ir acima de 4 kB para uso geral.

Fragmentação?

Quanto à fragmentação, a fragmentação não deve desperdiçar espaço dessa maneira. Arquivos grandes podem ser fragmentados, isto é, divididos em várias unidades de alocação, mas cada unidade deve ser preenchida antes que a próxima seja iniciada. A desfragmentação pode economizar um pouco de espaço nas tabelas de alocação, mas esse não é seu problema específico.

Soluções possíveis

Como gladiator2345 sugeriu , suas únicas opções reais neste momento são viver com ele ou reformatar com unidades de alocação menores.

Seu cartão pode ser formatado em FAT16, que tem um limite menor no tamanho da tabela e, portanto, requer unidades de alocação muito maiores para endereçar um volume maior (com um limite superior de 2 GB com unidades de alocação de 32 kB). Fonte cortesia de Braiam . Se for esse o caso, você deve ser capaz de formatar como FAT32 de qualquer maneira.

    

Answer 2

Esta é uma daquelas situações em que a compactação / arquivamento em um único arquivo pode ajudar. O que Bob disse em sua resposta é verdadeiro , mas a solução pode ser mais fácil do que reformatar o disco como outras respostas sugerem. Se você compactar ou arquivar o diretório (usando zip, tar ou qualquer outro método), o sistema de arquivos verá que você tem um único arquivo grande, em vez de vários arquivos menores. Mesmo sem compactar, você receberá de volta quase 1,4 GiB de espaço, porque todos esses "arquivos pequenos" serão contados como um único arquivo grande.

Inside this, my maps app stores its cached maps and the app gets its map from Google Maps

Talvez você deva discutir com o desenvolvedor para usar um arquivo ou um banco de dados em vez de vários arquivos. Isso provavelmente também ajudará a ter o disco menos fragmentado e certamente economizará espaço, especialmente se for uma unidade flash NAND. Se você explicar a ridícula situação em que 100 MB de carga útil / dados úteis se tornam 1.4GiB, há algo errado com a forma como os dados são armazenados e os desenvolvedores devem trazer uma solução melhor.

    

Answer 3

Caso alguém seja confrontado com este problema, pode ser útil também saber que outro motivo para ver grande diferença no tamanho / espaço do arquivo no disco é o uso de fluxos de dados alternativos (ADS)

Isso se aplica somente ao NTFS ao meu conhecimento. Os anúncios são conhecidos por usos legítimos e não legítimos:

• para marcar um arquivo baixado da Internet
• para armazenar metadados (a Microsoft queria incluir alguns recursos do sistema operacional Apple, como não usar a extensão de arquivo para determinar o tipo de arquivo)
• para ocultar dados ou códigos no contexto de um malware .

ADS simplesmente: qualquer arquivo NTFS pode conter múltiplos fluxos de dados (entender "subarquivos"). Um deles é o fluxo principal, usado pelo Windows Explorer e outras ferramentas do Windows, ele contém o conteúdo usual de um arquivo. Fluxos de dados alternativos podem conter outras informações, exatamente como o fluxo principal, mas não podem ser manipulados diretamente pelas ferramentas do Windows (em particular, o Explorer exibe o tamanho do arquivo como igual ao tamanho do fluxo principal, independentemente do tamanho do ADS), você tem que usar ferramentas especializadas ou código para escrever, ler e localizar ADS.

O ponto principal é que, em caso de grande diferença de tamanho de arquivo observada, não ignore a possibilidade de ADS e malware oculto.

Outro link .

Para experimentar com segurança o ADS, tente isso no nível DOS / CMD ...

Crie e exiba o conteúdo de um arquivo na raiz de C:

C:\> echo The main data stream> test.txt
C:\> type test.txt

Resultado:

C:\> The main data stream

Agora adicione um ADS com o mesmo método, apenas especifique o nome do ADS além do nome do arquivo:

C:\> echo The secret message> test.txt:secret

Você acabou de ocultar a mensagem secreta no arquivo. Observe que o tamanho do arquivo no Explorer não mudou, apesar de termos adicionado bytes no "segredo" do ADS.

Tente exibir o conteúdo do ADS:

C:\> type test.txt:secret

Resultado:

The filename, directory name, or volume label syntax is incorrect.

CMD type não é capaz de exibir o conteúdo do ADS. Nós usaremos o Notepad:

notepad test.txt:secret

No Bloco de Notas, podemos ver o conteúdo do ADS:

The secret message

Você também pode ocultar um executável completo em um ADS de um arquivo de texto inocente e executá-lo a qualquer momento. A riqueza não prejudica os hackers: -)

    

Answer 4

O problema pode estar relacionado ao tamanho do cluster.

De acordo com a Microsoft :

If you are not using NTFS compression for any files or folders contained on the volume, the difference between SIZE and SIZE ON DISK is wasted space because of a larger-than-necessary cluster size. You should attempt to use an optimal cluster size so that the SIZE ON DISK value is as close to the SIZE value as possible. An excessive discrepancy between the SIZE ON DISK and the SIZE value is an indication that the default cluster size is too large for the average file size that you are storing on the volume, and that it should be decreased. This can be done only by backing up the volume and then reformatting the volume by using the format command and the /a switch to specify the appropriate allocation size: IE: format D: /a:2048 (This example uses a 2-KB cluster size).

Tente formatar sua unidade com tamanho de cluster menor.

    

Answer 5

Eu vejo muitas pessoas recomendando reformatar sua unidade com um tamanho de cluster menor. Como este é um cartão SD, observe que muitos fornecedores pré-formatam a placa no tamanho de cluster recomendado para corresponder ao tamanho do cluster NAND (manter ambos em sincronia é muito importante para uma leitura / gravação otimizada). desempenho e redução do desgaste)

Você não pode alterar o tamanho do cluster NAND (é um atributo físico do hardware do seu cartão SD).

Primeiro, execute scandisk / chkdsk no seu cartão SD para ter certeza de que o problema do relatório de tamanho não está dentro de um sistema de arquivos corrompido.

Em segundo lugar, sugiro que você denuncie o erro para os desenvolvedores do Google Map, pois eles são os únicos a serem culpados aqui. Eles devem estar usando um método de armazenamento superior. A correção também deve fazer com que o aplicativo seja executado mais rapidamente em muitos dispositivos devido à menor atividade de E / S e do driver do sistema de arquivos.

    

Answer 6

Este é um problema geral com muitos sistemas de arquivos. Existem dois fatores em funcionamento aqui, o número máximo de "blocos" que um sistema de arquivos pode manipular por volume lógico e restrições físicas do meio de armazenamento. Apenas 1 arquivo pode ser alocado para qualquer bloco (arquivos geralmente levam quantos blocos forem necessários). Portanto, um arquivo de texto com 64 bytes pode levar algo de 4k a 32k, dependendo do tamanho do bloco do sistema de arquivos em que ele reside.

Uma maneira de pensar sobre isso é pensar em cada bloco no sistema de arquivos como uma caixa e no sistema de arquivos como uma sala. Todas as suas caixas são do mesmo tamanho e você tenta encaixar o máximo que puder em uma sala. Se você colocar todos eles com mais espaço sobrando, você terá que arrumar caixas maiores para que a sala fique cheia de caixas.

Uma das regras para colocar coisas em caixas é que você não pode colocar duas coisas não relacionadas em uma caixa. Eles precisam fazer parte do mesmo documento. Então, se eu fosse digitar uma página de texto, ela teria sua própria caixa. Se meu texto digitado tivesse tantas páginas, eu não conseguiria encaixar tudo em uma caixa, eu simplesmente encontraria outra caixa e continuaria colocando páginas lá, repetindo até que eu arqueasse todas as minhas páginas. Eu também escrevi as caixas que usei para o documento e a ordem das caixas para lê-lo em seqüência.

Dependendo de como eu organizaria as caixas, posso ter espaço suficiente no meu manifesto para um determinado número de caixas. Então, se eu tivesse uma sala grande para preencher, mas apenas um pequeno número de caixas, teria que usar caixas muito grandes para alcançar a capacidade da sala.

Então, nesse caso, meu documento de uma página ainda ocuparia uma única caixa, com nada mais compartilhando.

As mesmas situações ocorrem entre várias soluções de armazenamento. O FAT32 só pode gerenciar o que é considerado um número baixo de "caixas" nos enormes discos rígidos de hoje, então ele acaba com "caixas" muito grandes para compensar isso.

    

Answer 7

Além dos tamanhos dos clusters, você também pode ter uma discrepância devido às seguintes condições:

• Arquivos compactados ou criptografados podem usar um espaço diferente do tamanho do arquivo lógico.
• Os arquivos vinculados relatam n vezes o número de links vezes o tamanho do arquivo para o tamanho do arquivo lógico, mas o espaço físico usado geralmente é menor.

Answer 8

Você deve dar uma olhada na entrada Bloquear Subalocação na Wikipedia. Isso é exatamente o que está acontecendo com você. Usar um sistema de arquivos com suporte para Tail Packaging é uma solução em nível de sistema de arquivos para esse problema, além de alterar o tamanho do cluster de alocação.

Todos têm o inconveniente de precisar reformatar o disco.

Em alguns casos, apenas o armazenamento desses arquivos em um arquivo resolveria o problema (e os arquivos pequenos também seriam compactados ao lado de parar de perder espaço no final dos arquivos). Isso tem o inconveniente de passar algum tempo para descompressão.

Outra opção, se você tiver muitos arquivos pequenos devido a algum problema específico relacionado ao aplicativo, é armazenar os dados do software usando outro método (pode estar em um banco de dados). Mas é claro que é uma solução para programadores, não para usuários finais.

link

    

Answer 9

Observei as enormes discrepâncias de tamanho de arquivo no Windows 10 em um arquivo individual, mas se eu olhar as propriedades do mesmo arquivo do mesmo local (uma unidade de rede), com o Windows XP, a grande discrepância não estará lá; apenas uma pequena diferença, que é o que você esperaria. Eu acho que há um bug no Windows 10. Um arquivo que é 449MB provavelmente não ocupa 3.99GB, que é o que o Windows 10 está me dizendo.