Uma RAM grande melhorará o IO de gravação do sistema de arquivos?

Question

Temos centenas de milhões de arquivos pequenos em nosso servidor, com cerca de 500 GB. Eu estou procurando uma maneira de acelerar sua criação. Haveria alguma diferença se eu obtivesse mais memória RAM para esse propósito? Diga, 32 GB em vez de 8 GB. Eu sei que o sistema operacional usa algum espaço de memória RAM como o cache do FS (padrão de 50%), mas vai aumentar o número de gravações por segundo?

Linux, EXT4.

Obrigado!

    

Answer 1

1. Organize seus arquivos se eles estiverem na mesma pasta ou se houver muitos na mesma pasta (tente limitar a 4-5.000 arquivos / pasta).
   
2. Tente evitar o preenchimento de HDs (tenha ~ 20% de espaço livre no disco) para evitar a fragmentação.
3. A RAM ajuda com cálculos, trabalhando com grande quantidade de dados a qualquer momento, portanto, se mais RAM ajuda, realmente depende de como você usa esses arquivos ... Para operações de E / S e arquivos, é preciso focar mais em FSB e velocidade de HDD ("RPM"), bem como HDD tamanho do buffer e velocidade de acesso.

Answer 2

Resposta simples é NÃO, a RAM não afeta a velocidade de arquivos pequenos sendo gravados.

Resposta complexa é: DEPENDE de quantos dados estão sendo gravados a qualquer momento. Se mais de ~ 4GB ? (estimativa baseada no sistema ocupando 4 GB) a qualquer momento (alta contagem de E / S), então você se beneficiará do aumento da RAM, devido ao buffer de gravação ser usado mais intensamente. link

Ciência da Computação: Os dados são gravados na RAM enquanto uma gravação em disco é solicitada. A cópia do arquivo pode terminar, mas o sistema operacional continuará liberando dados da RAM para o disco.

Esta resposta foi escrita com o Linux em mente.

Uma velocidade mais rápida será alcançada no seu caso com:

conexão de placa-mãe SATA III ou SATA II com SSD, HDD não vai beneficiar muito a menos que esteja acima de 7200rpm (+ 150MB / s de velocidade) (este é um upgrade de placa-mãe)
• Uma CPU melhor, portanto, processa I / O mais rápido
• SSD + pelo menos SATA II. O fator mais inflacionário na velocidade de gravação de arquivos.

Como sempre, qualquer atualização será prejudicada pelo elo mais fraco do sistema, lembre-se disso se comprar um SSD, mas tiver uma CPU Intel Pentium em execução.