Uma parte da plataforma que estou construindo requer uma grande tabela de dados (começando em dezenas de milhões de registros, aumentando para centenas de milhões em um ano ou dois, talvez chegando a bilhões em algum momento). A estrutura da tabela de dados é: int, int, float, datetime, datetime. Esta tabela de dados aceita dados de uma única fonte (script de importação) em lotes de até dez milhões de linhas. Eu tenho controle total sobre o script de importação. Várias aplicações vão puxar dados via API da web e, provavelmente, um servidor TCP personalizado. Estou esperando solicitações de linhas individuais em rajadas de até 50.000 por segundo. No começo, isso soa como uma boa aplicação de um design de valor-chave, mas muitos dos pedidos assumem a forma:
selecione float onde int = A e datetime < B e datetime < C ordem por data e hora, datetime limite 0,1
a ideia básica é que estou obtendo o ponto de dados para uma determinada série que tem o último par de datetime abaixo de um limiar definido pelo usuário. Eu provavelmente serei capaz de fazer alguma lógica na camada de aplicação para puxar uma série inteira de cada vez, mas grande parte dessa ordenação ainda cairá na camada de banco de dados.
Atualmente, estou executando um protótipo do SQL Server 2005 e é muito responsivo em até 1.000 solicitações por segundo com 10 milhões de registros. Estou preocupado com o dimensionamento para centenas de milhões de linhas em 50.000 solicitações.
O que você acha? O MySQL é a ferramenta para o trabalho porque é mais leve que o SQL Server? Devo procurar em soluções NoSQL (qualquer um pode até lidar com a consulta de exemplo)? Quaisquer outras idéias são bem-vindas.
Obrigado!
theserge
Is MySQL the tool for the job because it's more lightweight than SQL Server?
Não.
I look into NoSQL solutions (can any even handle the sample query)?
Em geral, não como ... a primitivi- dade de lá os torna inadequados.
Veja as soluções típicas do TickerPlant. Espere pagar 50k USD para cima. Este é um requisito muito especial. Espere usar muitos servidores.