Cluster do MySQL: tabelas de 20Tb x 3K

Question

Durante os próximos 2-3 anos, estaremos ampliando a coleta de dados para um projeto. Como resultado, a quantidade de dados aumentará em dez vezes. Nossa instalação atual do MySQL pode acompanhar os 2Tb de dados, mas para consultas maiores há uma boa quantidade de IOWait.

Estou investigando uma migração para uma solução em cluster para espalhar o IO, mas estou me perguntando sobre o NDB e o que acontece com os dados que não são acessados com muita frequência. A impressão que recebo ao ler sobre o cluster MySQL é que ele se baseia em tabelas de memória para a maioria dos dados. O que acontece com as tabelas que não são acessadas com muita frequência (ou de todo)? E como funciona o backup? Posso usar MYSQLDUMP ou existe uma solução melhor?

    

Answer 1

O NDB tem algumas limitações para tabelas grandes devido ao seu modelo na memória. Para você situação, não faz sentido.

Recentemente, testamos o Percona Cluster com alguns resultados muito promissores. Suporta replicação mestre-mestre e tem total compatibilidade com o InnoDB ACID. Uma coisa a notar é que a velocidade das consultas é limitada ao nó mais lento do cluster - que muitas instalações do MySQL que são mestre / escravo geralmente têm um mestre muito mais rápido.

Se você precisa de acesso realmente rápido, você também pode converter os conjuntos de dados realmente grandes em MongoDB ou Cassandra. Ambos são consideravelmente mais rápidos que o RDBMS, como o MySQL. O armazenamento em cluster nesses bancos de dados NoSQL é nativo.