Como acomodar um banco de dados SQL muito grande no Azure?

Question

Eu tenho um banco de dados com um crescimento de mais de 100 Gb por semana e 5 TB por ano.

Como são dados financeiros, não podemos eliminá-los. Se mantivermos esses dados por pelo menos 10 anos, o tamanho se tornará 50 TB.

Sugira como podemos acomodar essa quantidade de dados em VMs do Azure com limitação de um disco de 1 TB no Azure.

Obrigado, Subhendu

    

Answer 1

Existem duas abordagens que você pode fazer com isso:

1. Armazém de dados do SQL do Azure
2. Banco de dados do Elastic SQL do Azure

O data warehouse SQL do Azure adota uma abordagem semelhante ao que você está fazendo agora, usando o SQL em execução da VM, mas que com o Armazenamento do Azure e uma camada de controle para ajudá-lo a distribuir seus dados por vários nós e vários locais de armazenamento. Ele também permite que você dimensione seu computador conforme exigido pela carga de consulta.

O Azure SQL Elastic Database usa o serviço de PaaS do Azure SQL, em vez de VMs, e trabalha com a fragmentação de seus dados em várias instâncias. Ele fornece bibliotecas de clientes e um mecanismo de tarefas para ajudá-lo a executar consultas sobre seus vários shards.

    

Answer 2

A resposta de Sam Cogan está correta. Mas minhas outras sugestões seriam:

1. Use colunas armazenadas em cluster. Esse 50TB pode rapidamente se transformar em 2TB-10TB no disco, uma vez compactado.

2. Uma VM GS5 (a maior no momento) pode ter 64 discos de 1TB, cada um conectado e distribuído em um pool de armazenamento gigante.

3. Se você escolher a maior VM e montar o número máximo de discos, considere usar Arquivos de Dados SQL no Armazenamento de Blobs , além dos arquivos de dados SQL no disco. Você poderia facilmente atingir 50 TB dessa maneira.