Configuração de disco / sistema para a coleção de logs / servidor syslog

2

Estou estudando a criação de uma infraestrutura de syslog / logging e estou pensando em algumas práticas recomendadas de arquitetura. Essencialmente, vejo que um sistema syslog precisa suportar duas cargas de trabalho conflitantes:

  • coleta de log. Os fluxos de dados potencialmente massivos precisam ser gravados rapidamente em discos e indexados.
  • consulta de log. os logs serão consultados por ambos os campos fixos, como data e fonte, bem como pesquisa de texto.

Qual é a melhor configuração de disco / sistema supondo que eu gostaria de mantê-lo em um único servidor por enquanto? Devo usar SSDs ou ramdisk para descarregar algum processamento? alguns discos em stripe e alguns em raid5?

Estou particularmente de olho no Graylog2 com o ElasticSearch / MongoDB

    
por Konrads 09.09.2012 / 15:24

1 resposta

1

Primeiramente, acho que ajuda a definir o valor dos registros, por exemplo, Se esse for um log de transações financeiras de alto volume, você pode optar por controladores de raid end muito altos, com muito cache de bateria e discos de ponta com gravações marcadas ou NCQ.

No caso geral, o sistema de arquivos ZFS é bastante útil, você está livre para usar HDDs para a capacidade barata que eles oferecem e, em seguida, adicionar SSDs como cache para leitura (o cache L2 ARC no ZFS) quando você precisar deles. Se as gravações se tornarem um afunilamento, você poderá usar SSDs para o ZIL (efetivamente um cache de gravação no ZFS). O bom é que tudo funciona, muito bem na minha experiência também.

Além disso, para abordar as questões de carga de trabalho conflitantes, um produto como o Cassandra (há muitas outras opções também) tem uma arquitetura que resolve de maneira eficiente esses requisitos de maneira eficiente.

    
por 09.09.2012 / 15:59