Existe sistema de arquivos baseado em disco com armazenamento em cache dedicado para Linux? [fechadas]

6

Temos dois (ou mais) aplicativos batalhando pelo cache de páginas do sistema operacional. Em particular, ElasticSearch é muito dependente do cache de páginas do sistema operacional. A tal ponto que as falhas de cache podem fazer ou quebrar o desempenho em casos de baixa latência. ES é o único aplicativo de baixa latência nos nós, de modo que precisa do cache da página do sistema operacional. Como o índice inteiro não pode caber em RAM, os aquecedores são usados para preparar o cache, mas depois de algumas horas, esses caches são descartados por outros aplicativos.

Alguns pensamentos e ideias que tive:

  • RAMFS (mas o índice não cabe na RAM, por isso não vá lá)
  • TMPFS (mas não é persistido por meio de reinicializações e usa troca)
  • Armazenando em cache no nível Lucene / ES (simplesmente parece não existir, o cache da página do SO é sua estratégia de armazenamento em cache)
  • Hardware dedicado (isso seria difícil de justificar, já que a máquina tem bastante memória RAM e CPU, só precisa fazer melhor uso dela; além disso, precisaríamos de muito de nós).
  • VMTouch com bloqueio (não é possível detectar quando o ES vai mesclar novos segmentos e precisar desbloquear os arquivos antigos e mapeá-los)
  • VM completa (custo de desempenho e administração / gerenciamento extra)

Um sistema de arquivos dedicado que poderia criar um pedaço pré-definido de RAM para armazenamento em cache seria ideal. Mas estou aberto a praticamente qualquer coisa neste momento, exceto a compra de nós dedicados devido a uma limitação de design no ES / Lucene.

    
por Andrew White 05.02.2015 / 20:31

0 respostas