Armazenando grandes quantidades de arquivos pequenos em arquivos maiores no Windows

Question

Digamos que eu tenha 50 GiB de arquivos que pesam cerca de 500 KiB cada.

Meu palpite é que ter, por exemplo, 5 arquivos grandes de 10 GiB cada um com o mesmo conteúdo arquivado neles seria melhor para o desempenho do disco rígido. Estou correto?

Haverá um ganho perceptível em um sistema de arquivos NTFS?

=============================================== ======================

Finalmente, qual ferramenta eu poderia usar para agrupar os arquivos, mantendo a capacidade de modificar o conteúdo do arquivo com perda de desempenho zero ou menor? Por exemplo, gosto do arquivamento do TrueCrypt porque, depois de montar um arquivo, ele cria uma unidade que posso usar perfeitamente como se fosse uma unidade normal. A única coisa com o TrueCrypt é que não preciso de criptografia / compactação, apenas arquivamento.

    

Answer 1

No Windows 7, você pode montar um .VHD como uma unidade. Esse é o formato de disco rígido virtual usado por máquinas virtuais e pelo Windows Backup (para backup completo do PC somente no cliente Windows e para todos os backups no Windows Server). Nenhuma compressão ou criptografia. A redução de desempenho durante o uso normal é mínima. Afinal, as pessoas estão executando máquinas virtuais inteiras dessa maneira.

Os metadados NTFS e a busca de disco podem levar a uma sobrecarga substancial em arquivos pequenos. Por exemplo, copiar 10.000 arquivos com menos de 10 KB cada para um disco rígido USB prosseguirá com cerca de 300 arquivos por segundo. São 30 segundos para copiar os arquivos individualmente, contra 10 segundos para copiá-los em um bloco. (A diferença torna-se ainda mais impressionante com as unidades internas ou eSATA, já que a taxa de transferência do bloco é maior. Os SSDs são tão grandes em acesso aleatório que podem não importar de nenhuma maneira.)

Mas os arquivos de 500 KB são grandes o suficiente para que o impacto seja limitado. Você teria que fazer um benchmark e ver.

    

Answer 2

Combinando arquivos

Eu esperaria que um único arquivo grande só seja melhor para o desempenho se você geralmente lê todos os dados, lê-os sequencialmente e se o arquivo grande é relativamente não fragmentado.

TrueCrypt

O uso de qualquer tipo de compactação ou criptografia será muito pior para o desempenho do disco rígido.

Atualização:

De acordo com uma resposta a esta questão "haverá alguma queda no desempenho, embora um ligeiro ". A resposta se refere a um artigo do Tom's Hardware que diz

The benchmark shows varying performance and highly depends on the processor, followed by the drive you are about to encrypt: AES and Twofish provide highest throughput on our Core 2 Duo notebook Dell Latitude D610. Once you start combining multiple encryption algorithms, e.g. Twofish and Serpent, performance drops considerably. While this isn’t noticeable while working with Windows and popular applications, increasing system load—such as may occur during heavy multi-tasking or when taking on intensive workloads such as video transcoding—will reduce system performance considerably.

O artigo da Wikipédia diz

When using popular desktop applications in a "reasonable manner", and with only a single encryption algorithm, the performance impact of TrueCrypt on desktop applications is not generally noticeable, though that does depend on the application, and power users may complain. Using a fast multi core processor and a fast system drive, preferably a Flash SSD, makes TrueCrypt almost transparent

Eu não conheço nenhuma evidência que mostre que o Truecrypt seja significativamente "melhor para o desempenho do disco rígido".