Eu tenho um banco de dados que tem uma única tabela com cerca de 1,8 bilhões de registros (sim, um B não é um M) nele agora. Há outra tabela no mesmo banco de dados com cerca de 740 milhões de registros.
O tamanho total do banco de dados é de aproximadamente 300 GB.
O servidor está funcionando bem. É um Xeon quad core com 32GB de RAM e uma matriz de disco muito rápida.
No que diz respeito a dicas e truques:
-
Pense seriamente em por que você deseja tantos dados. É muito para lidar com a qualquer momento. Além disso, uma vez configurado, esqueça a mudança de índices, colunas ou praticamente qualquer outra coisa. Essas operações demoram muito para serem concluídas em tabelas desse tamanho.
-
Pense seriamente em por que você deseja tantos dados. Sim, estou me repetindo. Encontre outro caminho, se possível. A recuperação de um DB desse tamanho é uma PITA completa e pode levar um tempo longo ... Como um dia ou mais.
-
Se possível, acumule seus dados de alguma forma significativa. Se estiver usando os dados para tendências, tente baixar seus cálculos o mais rápido possível e descartar os dados subjacentes. É claro que, se os dados subjacentes tiverem que ser mantidos por algum motivo, armazene-os em um arquivo simples ou qualquer outra coisa.
-
Não use nenhuma forma de criptografia com esse tamanho de banco de dados. Se seus dados exigirem isso, planeje gastar um lote de dinheiro em hardware (como no intervalo de US $ 1 milhão).
-
Leve seu tempo e teste diferentes modelos de recuperação. Até a inicialização do servidor no meio de transações. Veja o que acontece. Eu achei que "simples" funciona melhor para mim.
Meus dados são principalmente transacionais e, francamente, não são essenciais. Se todo o db cair de repente no seu rosto, bem, algumas sobrancelhas podem ser levantadas por nada maior.
O DB está atendendo a cerca de 150 solicitações / segundo. 99,999% dos quais são gravações. À noite, nós rolamos as informações obtidas em tabelas de resumo. Há um pequeno site de painel que é usado por talvez 5 pessoas para ver quais são os resumos históricos / diários.
Que tipo de informação você está realmente tentando encontrar?