Atingir a velocidade máxima de gravação no disco rígido

Question

Tenho processador i5 de 6ª geração com disco rígido secundário de 4 GB e disco rígido de 500 gb. O disco rígido de 4 TB é formatado com NTFS. Meu alvo é escrever uma quantidade enorme de arquivos no disco. O disco é SATA 7200RPM tem que testar o algoritmo de compressão nos mesmos arquivos escritos. Os arquivos que serão gravados no disco serão compactados com o zlib. O intervalo será de cerca de 12-20 KB. Eu escrevi um script bash para fazer 500.000 cópias do mesmo para fins de teste, mas descobri que 7-8 arquivos por segundo estavam sendo escritos naquele diretório, que é 100kB / s, enquanto a velocidade mencionada é muito maior. Eu quero conseguir 100 arquivos por segundo. Eu não sei o que fazer. Por favor, sugira-me que atinja a maior velocidade de gravação.

    

Answer 1

Seu afunilamento é o sistema de arquivos, não o disco. Quão bem a escalabilidade do sistema de arquivos (e sua implementação) nas operações de arquivo (criação / exclusão / etc) varia muito, dependendo da implementação e do design. Você provavelmente já arquiva uma taxa de transferência significativamente melhor ao gravar em um único arquivo sequencialmente, em vez de gravar a mesma quantidade de dados em arquivos diferentes que requerem muitas operações do sistema de arquivos (abrir / criar).

Se você precisa fazer muitas operações com arquivos, você precisa escolher um sistema de arquivos que seja melhor escalável no Linux do que no NTFS. XFS ou EXT4 são escolhas sólidas com bom desempenho.

Existem vários pontos de referência que comparam as diferenças de desempenho que aponte o mesmo.

    

Answer 2

Se você escreve arquivos pequenos, você está testando a velocidade na qual o sistema de arquivos pode abrir / fechar arquivos (e possivelmente alguma latência de movimentação da cabeça). E usando o NTFS no Linux, você não está usando o sistema de arquivos com melhor desempenho. Se você quiser testar a velocidade do seu algoritmo, use um sistema de arquivos nativo (ext4 ...) e arquivos grandes. Então, se você obtiver resultados mais lentos no NTFS, saberá de onde eles vêm.