Com detalhes suficientes sobre um PC, é possível calcular um benchmark preciso?

Question

Se eu souber o suficiente sobre um computador específico, é praticamente possível gerar um benchmark baseado na especificação dos componentes?

Por exemplo, conheço a GPU & Velocidades de CPU, chipset (mais todas as velocidades de E / S), velocidade de memória / canais etc e gostaria de construir benchmarks baseados em fórmulas (não em testes de software).

Isso parece possível, pois todos os componentes devem funcionar na velocidade declarada pelo fabricante. A desvantagem é que seria um benchmark teórico dependente da qualidade de construção da placa-mãe e componentes que às vezes podem ser variáveis.

Minha pergunta é, esta abordagem é viável e, se não, quais são os fatores que impedem uma fórmula de referência precisa?

Alguém viu alguma abordagem algorítmica para o benchmarking?

Nota: Isso está relacionado ao meu post original ( Dada uma especificação do processador, como descobrir qual RAM ela pode usar? . Agora eu tenho mais compreensão da importância do chipset que estou reafirmando a questão.

Agradecemos antecipadamente

Ryan

    

Answer 1

Quanta precisão para um benchmark você espera e que tipo de benchmark deseja estimar? Se a precisão de 5 a 10% acompanhar você, então você pode tentar. Você terá que coletar resultados de benchmark de diferentes revistas e sites de PC e atualizar seu banco de dados com frequência para poder comparar diferentes configurações.

Em qualquer caso, você também terá que aproximar alguns resultados, porque você não poderá encontrar testes para qualquer configuração disponível no mercado. Por exemplo, você encontrou resultados de benchmark para os chipsets X e Y para o processador Intel 2GHz. Além disso, você tem benchmarks para processadores de 2.0Ghz e 2.33Ghz, mas para o chipset Z. Se 2.33Ghz é mais rápido que 2.0Ghz em 10% no chipset Z, você poderia esperar que ele seja mais rápido em 10% nos chipsets X e Y? você pode multiplicar seus benchmarks anteriores em 1.1 ??? Isso é razoável, mas isso será apenas um resultado aproximado.

Além disso, lembre-se também de que não existe um benchmark que acomode todos os usuários e cada benchmark pode depender mais de alguns componentes do computador e menos de outros. Por exemplo, se quisermos medir operações de ponto flutuante, teremos melhores resultados em um processador mais potente. Se executarmos o teste de benchmark para um banco de dados do Access, veremos que os resultados dependem muito mais do desempenho do HDD do que do processador e assim por diante.

Os benchmarks teóricos são em algum ponto inúteis para os usuários finais, porque o que os usuários finais querem saber é sobre o que o PC Vista iniciará mais rápido ou o FireFox abrirá o site mais rápido e onde levará menos tempo para economizar 20Mb Office documento ... Os usuários finais raramente se importam com números de operações de ponto flutuante.

    

Answer 2

Esta pergunta me faz lembrar do popular ' quantos afinadores de piano em uma cidade ' problema.
Agora, eu sei que muitas pessoas vão encontrar falhas nessa associação,
é assim que eu gostaria de explicar isso.
Por favor note, eu não estou dizendo que é o mesmo problema - apenas um pouco semelhante.

O que você está tentando fazer é o derivar uma figura de referência (número de sintonizadores de piano)
de vários outros resultados que podem não se correlacionar juntos.

Você pode aproximar algumas regras de derivação para chegar a um ponto de referência.
no entanto, vários parâmetros (subjetivos para cada configuração em questão)
fará com que o seu valor de referência calculado se desvie arbitrariamente dos valores reais.

As próprias ferramentas de benchmarking têm um tempo difícil reproduzindo os resultados
e gostaria de ditar muitas coisas no condições de teste .

    

Answer 3

Você precisa ter em mente que haverá cenários que você não poderá prever ... por exemplo, imagine:

• Dois processadores A e B, em que B mostrou ser cerca de 1,5x a velocidade de A em sistemas idênticos
• Uma nova placa-mãe X, testada com o processador A, dando um aumento de 1,1x em relação à sua pontuação anterior devido a otimizações no chipset

Isso significa que você pode concluir que B também será 1.1x mais rápido em X? Não necessariamente; pode muito bem ser que, embora o chipset seja, teoricamente, melhor por esse fator, mas ainda pode ter algum (ainda) limite de largura de banda não detectado que o impede de escalar acima de 1.5x o desempenho de A, então o melhor desempenho de B já usa todo esse espaço.

E este é apenas um exemplo ... haverá inúmeras limitações como essa entre vários componentes do sistema, e algumas delas nunca serão detectadas até que a combinação correta de componentes seja montada. Como resultado, qualquer aproximação algorítmica irá, sem dúvida, acabar com muitos casos inesperados que se tornarão imprecisos.

    

Answer 4

É uma boa ideia, mas não acho que seja realmente realista. Eu vi exatamente o mesmo hardware gerar resultados de benchmark diferentes baseados em diferenças que seriam indetectáveis (presumivelmente relacionadas ao software).

Você pode gerar uma série de intervalos esperados para configurações de hardware específicas usando uma abordagem baseada em evidências que agrega referências reais, mas mesmo isso não seria particularmente preciso.

Em resumo, acredito que a resposta é não, você não pode.