Usando R para analisar dados do sistema?

Question

Frequentemente ouço coisas boas sobre a linguagem R para análise estatística de dados, mas parece que a curva de aprendizado é íngreme. Estou interessado em saber se alguém está usando o R para processar dados sobre o desempenho do sistema e a escalabilidade para dar uma melhor percepção do comportamento do que uma série temporal básica de um sistema de monitoramento oferece. Qual o valor que R lhe dá como administrador de sistema?

    

Answer 1

Analisamos o R como uma análise comum e o relatório de back-end para dados de várias ferramentas de teste de desempenho, mas infelizmente não tivemos tempo para implementar o R nessa tarefa, pois estamos simplesmente ocupados com servidores de teste de desempenho ... apenas o tempo de inatividade não é suficiente.

Aqui está minha opinião sobre R, pelo menos, de uma perspectiva de análise de testes de desempenho

• Precisamos correlacionar dados que incluam o tempo de resposta e os dados do monitor do sistema em dezenas de hosts envolvidos no teste de desempenho. O uso do R nos permite importar dados de várias fontes de dados diferentes em vários formatos para um conjunto de análise consolidado
Para testes, precisamos de reprodutibilidade, caso contrário, o que estamos fazendo é 'experimentar' e não 'testar'. O R nos ajudará a entender melhor a qualidade do nosso conjunto de dados com base no número de amostras e também nos permitirá entender melhor como os testes são estatisticamente próximos quando executarmos os testes de volta para verificar a consistência.
• O elo fraco em todas as ferramentas de teste de desempenho de software livre é a análise e a capacidade de correlacionar um aumento no evento de tempo de resposta a aumentos ou quedas em outras métricas do sistema. O R deve nos permitir fornecer o mesmo nível de capacidade analítica em ferramentas de teste de código aberto que podemos obter hoje com as melhores ferramentas comerciais e, para as ferramentas comerciais, deve nos permitir uma maior percepção da natureza dos conjuntos de amostras onde pode calcular a área sob a curva para a freqüência das amostras e obter um delta quando comparado com a curva ótima (metade da curva do sino com baixo desvio padrão). Este delta que usaremos para orientar nosso feedback para o desenvolvimento de onde gastar o tempo e energia para uma correção
• Todas as ferramentas no mercado são ruins quando comparadas a um requisito de desempenho robusto que é normalmente gravado como um SLA, ou seja, um tempo de resposta de 'x, y% do tempo, sob uma carga de Z.' R nos permitirá relatar melhor as metas de requisitos / SLA, especialmente onde os SLAs em movimento podem estar presentes com base na carga.
• Para o benchmarking técnico, o R nos permitirá comparar melhor a saída dos testes atuais e anteriores com os diferentes builds, encontrando desvios estatisticamente significativos no desempenho de um teste para o próximo para reportar de volta ao desenvolvimento

Atualmente, no lado da análise do servidor de teste, usamos uma combinação de métricas monitoradas coletadas durante nossos testes, análise de log com o Microsoft logparser e um mecanismo de geração de relatórios baseado em LaTeX / PSTRICKS que gera PDF. Com R, esperamos passar para uma análise de resultados baseada em regras mais estruturada, que devemos ser capazes de automatizar em alto grau, onde hoje precisamos de muita intervenção manual no lado analítico da casa. resultados e a formatação da saída.

    

Answer 2

R é uma linguagem de programação como qualquer outra, com pontos strongs e fracos. Os pontos strongs estão na profundidade dos métodos estatísticos implementados - assim, por exemplo, se você quiser ajustar as cargas do seu sistema a um modelo generalizado de séries temporais condicional autorregressivo (não estou fazendo isso), você pode. Pode haver uma implementação disso em Python ou Perl, mas duvido que ela seja amplamente usada ou testada.

Para mim, sua fraqueza é a linguagem de programação em si - bastante irregular e peculiar em alguns lugares. Cheio de armadilhas. Se você nunca usou uma linguagem de programação antes de começar, se você é um programador competente em qualquer linguagem atual (Python, Perl, C (++), VB?), Você pode odiá-la.

Se as técnicas e gráficos estatísticos existirem na sua linguagem preferida de escolha, eu escolheria isso. Se você pudesse implementá-las com facilidade em sua língua favorita, eu pensaria em fazer isso. Se você quiser estatísticas de ponta que não existem em outras linguagens de programação, use R.