Eu tenho repensado o tiroteio do compilador e comecei a me perguntar: é Amazon EC adequado para benchmarking? O ambiente é totalmente virtual, então existem garantias de que os resultados de benchmarking serão repetíveis? Ou devo assumir que o fatiamento do tempo do ambiente de hospedagem virtual interfere nas abordagens de tempo?
Não.
Não que isso seja culpa do EC2, mas quando comparar, ao comparar A e B, é preciso ter em mente a frase "todas as coisas sendo iguais" . (Há um nome formal para isso, mas eu esqueço.) Com o ambiente virtualizado do EC2, onde você não está no controle de nada , mas sua instância, isso não é o caso.
A menos que você esteja comparando os ambientes de nuvem;)
(Editado para ser específico do EC2, graças a comentários bem informados)
No benchmarking, você quer controlar todas as variáveis possíveis para garantir testes adequados. Em um ambiente de computação em nuvem, eu não confiaria em que uma determinada instância seria exatamente a mesma de um momento para o próximo o suficiente para realizar um benchmarking adequado de maneira confiável.
Tags benchmark cloud-computing