Software para desenhar gráficos com milhões de “medições” [fechadas]

Question

No meu software de negociação, eu gero um arquivo como o seguinte:

10:00:00.0000001    1.25333
...........................
...........................
14:58:48.5024961    1.23456
14:58:48.5024987    1.23455
14:58:48.5025003    1.23460
14:58:48.5025108    1.23458
...........................
...........................
17:59:59.9997788    1.21111

Eu tenho milhões de itens no total. Eu quero ver gráficos, especialmente "extremums" (o tempo é "X" e o valor é "Y"). Eu preciso de capacidade para "zoom" para partes interessantes do gráfico, etc.

Provavelmente, posso fazer isso no Excel ou usar melhor algum software específico. O que você pode recomendar?

Como eu mesmo gero o arquivo, posso alterar o formato conforme necessário (use ";" como um delimitador, altere o formato de hora, etc.)

Atualizar : Como executo a oitava no Windows?

Oleg@OlegPC ~
$ octave
GNU Octave, version 3.6.1
Copyright (C) 2012 John W. Eaton and others.
This is free software; see the source code for copying conditions.
There is ABSOLUTELY NO WARRANTY; not even for MERCHANTABILITY or
FITNESS FOR A PARTICULAR PURPOSE.  For details, type 'warranty'.

Octave was configured for "i686-pc-cygwin".

Additional information about Octave is available at http://www.octave.org.

Please contribute if you find this software useful.
For more information, visit http://www.octave.org/help-wanted.html

Read http://www.octave.org/bugs.html to learn how to submit bug reports.

For information about changes from previous versions, type 'news'.

warning: unable to open X11 DISPLAY
octave:1>

    

Answer 1

Eu usaria o Matlab, mas acho que isso é um pouco científico e pode não estar disponível para você. Octave parece ser uma fonte aberta semelhante ao Matlab.

O enredo em si seria o enredo mais fácil (x, y), com todas as habilidades para ampliar e deslocar. O assistente de importação de dados também deve permitir que você importe o tipo de arquivo cvs se você apenas alterar um pouco sua saída.

x = [1.00 1.10 1.11 1.12 1.12 1.2]

y = [0.709364830858073 0.754686681982361 0.276025076998578 0.679702676853675 0.655098003973841 0.162611735194631]

Tendo o 1,12 duas vezes:

    

Answer 2

Eu não sou aficionado por estatísticas, mas talvez o RapidMiner possa ajudá-lo. Alternativa, você pode dar uma olhada na lista de pacotes estatísticos

    

Answer 3

Você pode plotar milhões de pontos em R e em Python. Ambos têm comunidades prósperas e envolventes.

No entanto, isso traz outra questão. Você deveria? Eu às vezes desenho conjuntos de dados enormes, mas ter um grande número de pontos de dados é geralmente tão informativo quanto amostragem para baixo. Se você quiser manter certos extremos, pode pesá-los de modo que, ao fazer uma amostragem aleatória, eles surjam com mais frequência. Ou até mesmo leve-os de lado e coloque-os em sua sub-amostra final. Além disso, ter menos pontos para desenhar aumentará o tempo de produção.