Suas conexões médias por segundo não são o importante; é o pico que você tem que se preocupar. Para isso, você precisa de estatísticas melhores sobre como serão seus padrões de carga. Se você não tem isso, eu costumo usar uma proporção pico / média de 4: 1 em toda a média de 24 horas (então, para você, você está olhando para 1,6 / 3 * 4 '- 3 para chegar às 24 horas média, 4 para obter o pico da média - um pouco mais de duas conexões por segundo no pico).
Essa relação, a propósito, simplesmente vem da minha experiência com sites com userbases localizados geograficamente (como você sugere). Eu tenho outras taxas para usuários globais e sites conhecidos. Se você tomar o pior caso, um site realmente cheio de pontos, eu uso uma proporção de 10: 1, então você ainda está olhando apenas um pouco mais de cinco conexões por segundo.
Como Andrew diz, nesse tipo de volume você não deveria nem mesmo suar em uma máquina. Eu tenho um site que lida com várias centenas de conexões HTTP (S) por segundo por máquina (um site dinâmico e pesado, com muitas conexões SSL) - obviamente, isso vai variar muito na sua base de código, mas se você precisa balancear a carga cinco conexões SSL por segundo, algo é muito, muito errado.
Pessoalmente, não gosto de balanceadores de carga acelerados por SSL, pois na minha experiência eles criam um novo gargalo - quando o site fica popular o suficiente, o acelerador de SSL não consegue acompanhar (e atualizar essas coisas ficam caras). Eu prefiro um balanceador de carga TCP simples, onde posso simplesmente escalar meus back-ends à medida que eles atingem a capacidade (seja por conexões SSL ou apenas por solicitações de processamento).