Esta é a maneira de usar a tabela dinâmica do Excel 2007 para BI escalonável?

Question

Antecedentes:

• Precisamos consolidar os dados de vendas em todo o país para fazer análises

• Nossa conexão com a Internet / experiência em TI / investimento em TI não é muito strong, portanto a solução completa de BI está fora de questão

• Eu experimentei várias soluções SaaS BI (GoodData, ZohoReports) e, embora sejam boas, elas parecem não oferecer suporte total ao que precisamos

• Estamos analisando cerca de 2 milhões de registros a cada 2 meses

Minha abordagem atual

• Nossos (10) sites atualmente reúnem dados de todas as suas ramificações e os consolidam em um arquivo do Excel com tabela dinâmica e incorporam dados de origem

• No HQ, solicitarei 10 sites para enviar periodicamente esses arquivos do Excel

• Nós importaremos o Excel para o nosso servidor MSSQL

• Haverá um arquivo mestre do Excel, que também terá a mesma tabela dinâmica (como a que veio do arquivo Excel do site), e a fonte de dados é o servidor MSSQL

Mais detalhes

• Para testes, atualmente uso o MSSQL 2008 Express no meu laptop

• Até agora, importei nossas transações nos últimos 2 meses e há 2 milhões + linha em uma tabela no MSSQL (apenas usamos 1 tabela, correspondente à nossa estrutura de tabela dinâmica comum). O tamanho do banco de dados é de ~ 600 MB

• No arquivo mestre do Excel, se você não incluir os dados de origem, será apenas < 10MB A inclusão dos dados de origem aumentará o tamanho para 60 MB (por isso, supus que o Office 2007 compactasse automaticamente os dados?)

• Eu tento usar o Pivot (campos de arrastar e soltar) e o desempenho até agora está OK (minhas especificações de laptop: C2D T7200, 3 GB de RAM, Windows XP)

Então, minha pergunta é:

• Se estivermos analisando transações de ano inteiro (aproximadamente 15 milhões de linhas no MSSQL 2008 Express, 3,6 GB de tamanho), há algum problema com essas 15 milhões de linhas em uma tabela no SQL Express?

• Existe algum problema de desempenho com a tabela dinâmica nesse momento? Ainda pode incorporar os dados de origem? (Eu pesquisei no Google, mas não encontrei o tamanho máximo dos dados de origem que o Excel 2007 pode incorporar)

• Alguma outra sugestão sobre como podemos fazer isso melhor? Considerando que não podemos arcar com a solução completa de BI, qualquer BI de baixo peso / orçamento / SaaS que você possa recomendar?

Obrigado

    

Answer 1

Há um limite de 4 Gb no SQLServer Express 2008 (incluindo arquivos de log), então parece que você estará muito próximo do limite inicialmente e ultrapassará o limite rapidamente. Se for apenas uma única tabela, talvez você considere o SQLite (ou possivelmente o mySQL).

Na minha experiência com tabelas dinâmicas (e excel geralmente) é que ele funciona bem até certo ponto, então o desempenho se degrada significativamente.

Geralmente, acho que sua abordagem é a que eu escolheria. Em vez de tentar girar toda a tabela, tentaria pré-resumir os dados no banco de dados por meio de uma visualização, mesmo que eu tivesse duas planilhas separadas com duas visões diferentes dos dados resumidos (por exemplo, talvez um que resuma até um diário ou de hora em hora e outro que resume um nível em outra dimensão-chave - talvez por ordem ou login ou qualquer outra coisa). Isso deve manter mais o trabalho de volta no banco de dados e deixará a planilha mais leve.

Boa sorte!