Teste de benchmark local versus nuvem - o que é melhor?

Question

Eu tentei usar o Apache Benchmark (ab) para testar meu servidor. Fiz o mesmo teste duas vezes - uma vez localmente no meu desktop Mac local e uma vez em um servidor do Media Temple que alugo.

EDITAR: Para esclarecer, estou testando o mesmo servidor remoto, estou executando ab em locais diferentes.

Existe uma diferença drástica entre os dois resultados. A grande diferença é devido às limitações de largura de banda do meu ISP ou outras limitações do meu Mac Desktop? Qual resultado reflete com mais precisão o desempenho do servidor?

Resultados do Media Temple

Concurrency Level:      50
Time taken for tests:   10.397 seconds
Complete requests:      7911
Failed requests:        0
Write errors:           0
Total transferred:      36355218 bytes
HTML transferred:       33767013 bytes
Requests per second:    791.07 [#/sec] (mean)
Time per request:       63.206 [ms] (mean)
Time per request:       1.264 [ms] (mean, across all concurrent requests)
Transfer rate:          3550.16 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:       15   23 142.9     17    3019
Processing:    20   38  28.3     37    1093
Waiting:       20   36  23.8     36    1092
Total:         36   62 145.5     54    3063

Resultados do Mac Desktop local

Concurrency Level:      50
Time taken for tests:   10.159 seconds
Complete requests:      169
Failed requests:        0
Write errors:           0
Total transferred:      790168 bytes
HTML transferred:       733924 bytes
Requests per second:    16.64 [#/sec] (mean)
Time per request:       3005.589 [ms] (mean)
Time per request:       60.112 [ms] (mean, across all concurrent requests)
Transfer rate:          75.96 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:       30 2438 3568.0    379    9217
Processing:     0   95 714.8      3    9291
Waiting:        0   41  68.1      2     191
Total:        137 2533 3579.5    441    9354

    

Answer 1

O benchmarking localmente não pode dar a você nenhuma indicação de como seu site será executado em um host remoto, a menos que você consiga replicar o hardware, o software em execução etc. no host remoto.

A diferença nos resultados que você tem é normal, já que você está comparando dois sistemas totalmente diferentes. Eu recomendo que você considere os resultados do benchmark remoto, já que isso deve refletir (e dar uma idéia) de quantas conexões seu aplicativo pode suportar.

Além disso, o cerco é uma ferramenta incrível para isso. Ambos ab e siege podem ser facilmente roteirizados para automação & poste a comparação dos resultados de benchmarking, mas o cerco permite que páginas aleatórias sejam solicitadas em vez de uma URL específica, o que contribui para um benchmark mais realista.

Espero que isso ajude, boa sorte.

    

Answer 2

Vou concluir que existem restrições locais no meu desktop Mac no meu apartamento. Essas restrições podem estar no nível do desktop, roteador ou ISP.

Independentemente disso, minha área de trabalho do Mac não pode executar ab testes em um servidor remoto (vamos chamar de servidor IP 66.55.44.33) no mesmo nível que outro servidor (vamos chamar este servidor 88.77.66.55) em um data center.

Então, quando eu uso minha área de trabalho do Mac para o teste 66.55.44.33, os resultados mostram 16 req / s.

Quando eu uso 88.77.66.55 para o teste ab 66.55.44.33, os resultados mostram 800 req / s.

Por favor, note que o servidor que está sendo testado (66.55.44.33) reside em um datacenter em Atlanta. Meu desktop local está em Raleigh, NC. O segundo servidor (88.77.66.55) reside em um datacenter em Phoenix.