Alguma idéia para representar graficamente dados com 6 milhões de linhas?

Question

Eu apenas tentei importá-lo para o excel, mas ele só pode aceitar um pouco mais de um milhão de linhas de dados. São 3 colunas de dados, e tudo que eu quero fazer é representar graficamente a coluna 1 contra 2 e 3 para dois gráficos.

Estou pensando em fazer um pré-processador de grade que divide o cenário 2D em células e marca cada célula como tendo ou não um elemento dentro dela. Haverá um fator violino para tornar as células pequenas o suficiente para discernir informações do gráfico, enquanto grandes o suficiente para estarem abaixo de 1 milhão de células preenchidas para se encaixarem no excel.

Enquanto faço isso ou algo mais, alguém sabe como representar graficamente todos os dados com facilidade?

    

Answer 1

Você também pode tentar experimentar os dados. Pegue apenas uma em dez (ou uma na linha do hundert) e tente traçar o resultado. Se a sua amostragem é verdadeiramente aleatória, você deve ter um gráfico que seja bastante representativo da "população"

    

Answer 2

Salve-o como arquivo separado por vírgula e carregue-o no R com o comando

data <- read.csv('mybigfatfile.csv', header=T)

(aqui eu suponho que a primeira linha é os cabeçalhos; se não houver cabeçalhos, defina o cabeçalho como F). Se os nomes das colunas forem A, B e C, você poderá plotar como

plot(data$A, data$B, col=rgb(100,80,0,10, max=255), pch=16)

Aqui a cor será rgb (100,80,0) com branco sendo rgb (255,255,255) e opacidade de 10 (de 255). Resposta de Per momobo, você pode pegar uma amostra aleatória se 6 milhões demorarem demais para serem exibidos:

idx <- sample.int(length(data$A), 10000)
plot(data$A[idx], data$B[idx], col=rgb(100,80,0,10, max=255), pch=16)

Aqui selecionamos 10000 números inteiros aleatórios (de 1 a comprimento (dados $ A)).

Para obter ajuda com os comandos R, digite? seguido por comando, por exemplo,

?plot

No entanto, R tem uma curva de aprendizado íngreme. Mas eu acho que isso é um jeito.

    

Answer 3

Eu enfrentei o mesmo problema, Finalmente eu usei o MSChart com c # e carreguei os dados por código e desenhei-os no gráfico.

Acho que esse vídeo ajudaria link

Você também pode ampliar o gráfico.