Aplicativo de planilha que pode manipular o Big Data OS X

Question

Eu tenho trabalhado com o Excel por um bom tempo para algumas análises estatísticas que faço regularmente. O tamanho dos dados com os quais estou trabalhando ficou muito maior ultimamente. O layout dos bancos de dados em questão é bastante simples, geralmente apenas três linhas que incluem um registro de data e hora UNIX e um valor EST, um valor numérico proprietário e finalmente uma média das linhas que possuem um registro de data e hora +/- 1000 (pouco AVERAGEIFS() formula). Essa fórmula e a conversão EST são as únicas fórmulas na planilha.

Estou começando a trabalhar com arquivos com mais de 500.000 linhas. Executar a fórmula média na linha inteira leva uma eternidade. O resultado final é a produção de gráficos dignos de impressão. Eu estou procurando um utilitário UNIX CL ou aplicativo de planilha / banco de dados separado que possa lidar com essa quantidade de dados sem derreter minha CPU ou me fazer esperar uma hora. Existe alguma coisa lá fora?

TL; DR: A planilha Excel simples com mais de meio milhão de linhas está ficando muito lenta para trabalhar. Alternativas do OS X?

    

Answer 1

Gostaria de ver se você pode fazer isso em um banco de dados tradicional (SQL ou similar) ou em algo como um console R. Se o problema está na plotagem, e não no cálculo, eu tentaria fazer algum tipo de filtragem (não tenho certeza de que tipo de dados você tem, ou como ele está espalhado, mas em qualquer caso você não precisa de 500k + pontos de dados em um gráfico) para se livrar de muitos pontos de dados desnecessários para o gráfico. Isso tornará a plotagem mais rápida (e você pode usar R ou gnuplot para a plotagem real se o Excel estiver muito lento)