Benchmark com 2 computadores e 2 suítes de referência

Question

Esta é uma pergunta que me foi feita. Você tem dois computadores e dois benchmarks. O primeiro benchmark faz bem e o segundo benchmark não faz no primeiro computador. O próximo computador faz o oposto, fazendo mal no primeiro benchmark e bem no segundo benchmark. Podemos supor que essa diferença é a mesma.

A partir desta informação dada é possível comparar os dois computadores?

Eu diria que não, porque precisamos saber o significado da taxa de transferência, não sabemos o número de processos por vez.

Além disso, haveria outras razões e meu raciocínio é correto?

    

Answer 1

Eu acho que seu raciocínio tem uma falha - você diz que não é possível comparar as duas máquinas. Mas tendo apenas a sua descrição, temos que assumir que os dois benchmarks foram executados de forma comparável - então sim, é claro, você pode comparar as duas máquinas com os benchmarks.

Mas a única coisa que você pode dizer é que a máquina A é melhor executando o benchmark A e ruim no benchmark B. E vice-versa.

Se você quiser invalidar os resultados de benchmark, procure a relevância do resultado, a relevância na forma como foi executado e as diferenças entre os participantes e o modo de medição.

Editar -

para uma excelente introdução em técnicas e execução de benchmarks de computador, veja

Jain, Raj: A arte da análise de desempenho de sistemas de computadores (Wiley, 1991)

Se me permitissem um, e apenas um, livro sobre benchmarks, é isso.