É tanto o equilíbrio quanto é quando você está expandindo o hardware físico. Provavelmente não ajudará a fixar em uma única métrica para decidir quando gerar novas instâncias.
Um limite arbitrário de 100 conexões pode ser bem menor do que a instância é realmente capaz de manipular, e você gasta demais com a capacidade computacional como resultado. Por outro lado, sua instância pode se engasgar com RAM / CPU ou E / S antes de chegar a esse ponto.
Você deve dar uma olhada no dimensionamento automático da AWS. Isso permitirá que você defina políticas que expandam e contraem automaticamente seu cluster de computação dentro dos limites rígidos especificados e com base em toda uma série de métricas do Cloud Watch. Você precisará usar a API para configurar políticas apropriadas e, em seguida, observar e ajustá-las conforme sua carga e orçamento determinarem.