Use tmpfs e uma grande partição swap ou arquivo. Este sistema de arquivos armazenará os dados na memória o máximo que puder, e os trocará para o disco se eles não se encaixarem na memória RAM.
Eu preciso criar muitos arquivos temporários para os quais preciso ter acesso rápido, então estou pensando em usar um disco RAM. O problema é que os arquivos temporários podem ficar muito grandes (1-4 GB) e, nesse caso, o armazenamento em disco seria OK.
Existe alguma maneira de criar uma mistura entre um disco RAM e um disco rígido físico, para que o HDD seja usado no pior dos casos (quando eu encontrar os grandes arquivos temporários)?
--- Editar ---
Eu não posso pagar SSDs mais rápidos e não preciso de armazenamento persistente e não preciso de 100 GB de dados temporários. Estou usando meu computador doméstico para isso (sistema AMD de 2 GHz ...). Recebi uma dica sobre UnionFS . Qual é a experiência com isso?
Use tmpfs e uma grande partição swap ou arquivo. Este sistema de arquivos armazenará os dados na memória o máximo que puder, e os trocará para o disco se eles não se encaixarem na memória RAM.
Por que não tentar usar as unidades SSD de estado sólido? Você pode obtê-los com uma capacidade de 100 GB ou mais e eles são muito mais rápidos que os discos padrão.
Eu colocaria em segundo plano a opção de fazer RAID 0 (faixa) com um controlador RAID de hardware . Eu citei um servidor de codificação de vídeo e as unidades de rascunho são 15k SAS em RAID 0 e ele mastiga vídeo como nada mais.
Dependendo de quanto tempo você espera manter esses arquivos temporários, você pode usar um sistema de arquivos como XFS ou ext4 que suporta alocação atrasada. Esses sistemas de arquivos são "inteligentes o bastante", pois se um arquivo de curta duração for excluído antes de ser alocado (ainda no cache), ele nunca será alocado no disco e nenhum dado será gravado.
Eu tentei isso com XFS vs ext3 e a diferença foi incrível, um programa de teste que cria muitos arquivos temporários e os remove depois de um tempo, quase não IO no XFS, mas carrega no ext3.
Mas eu concordo com outros pôsteres, o tmpfs é muito bom também (na verdade, pode ser melhor)
Você está perguntando se é possível criar um ramdrive para armazenar em cache alguns arquivos temporários e outra partição de espaço em disco para seus arquivos temporários grandes e misturar e combinar automaticamente os dois conforme necessário? Isso parece um pouco complicado para alcançar. Você pode estar em melhor situação, dependendo do orçamento, olhando para a instalação de uma unidade SSD para usar em arquivos temporários / swap ou para obter alguns discos rígidos e distribuir dados de leitura / gravação.
Suponho que você poderia tentar usar o software RAID com duas unidades, uma partição física e uma totalmente na memória, para criar um JBOD (apenas um monte de discos); você poderia estar pedindo problemas com isso, já que o disco não é real. Pode produzir alguns números engraçados no desempenho se funcionasse. será que vai dar certo? Nenhuma idéia. Não ouvi falar de pessoas fazendo isso, mas essa seria a abordagem que eu pesquisaria primeiro.
Pessoalmente, gostaria de atualizar seus discos para unidades mais rápidas (como 15.000 RPMs) e usar RAID para distribuí-los, RAID por software ou hardware (não em mobo) ou usando a rota SSD, pois eles podem ser muito rápidos, mas podem ser sua carteira também. Caso contrário, você poderia analisar a execução de um sistema operacional de 64 bits e obter RAM suficiente para criar um disco RAM de vários gigabytes para obter o que você está procurando fazer.Tags unionfs linux software-raid ramdisk