Emparelhando as soluções MySQL e NoSQL

Question

Temos alguns conjuntos de dados bastante grandes (eventos do usuário e informações de registro do servidor - > 100 GB) que estão se tornando bastante difíceis para o processamento de dados. Eu vi muita atividade em torno do NoSQL / Hadoop / etc e fiquei me perguntando o que SV tinha a dizer sobre uma solução emparelhada. A situação ideal absoluta seria:

• Um "mestre-escravo" como a sincronização entre nossos servidores MySQL e NoSQL / Hadoop, mas diferente o suficiente para que possamos construir índices customizados / etc.
• Capacidade de executar resultados de agregação padrão no NoSQL / Hadoop em tempo trivial, como:
  • < 1 seg. para sum (*) em que event_type = 'blarg' entre 'data 1' e 'data 2'
  • Dê-me todos os termos de pesquisa recebidos (que gravamos) para esta página e os filhos desta página durante um período de tempo arbitrário e sua contagem
• Uma maneira simples (< 10 minutos) de atualizar a máquina de um desenvolvedor.

Pensamentos? Nós tentamos várias soluções em torno do MySQL e nada atende a todas essas opções de maneira elegante.

    

Answer 1

O MongoDB é simples e agora possui fragmentação automática. Não é muito eficiente para o uso do disco, portanto, você precisará fornecer muito espaço em disco. Ele pode manipular consultas, mas precisará de índices, a menos que você queira varrer bilhões de registros. O que fizemos foi realmente armazenar resumos no Mongo porque, se você conhece sua consulta, pode construir uma estrutura de dados otimizada e ser extremamente eficiente.

Já experimentou o Infobright com o MySQL? Faz compressão automática e é rápido. Pode ser o suficiente para você.

    

Answer 2

Você precisa codificar algum tipo de adaptador sozinho!