A partir da breve visão geral que você forneceu; Eu sugiro que você terceirize sua infraestrutura a curto prazo. Você não menciona qual será a sua plataforma, mas soa como PHP ou RUBY; veja alguns dos provedores de estilo de nuvem.
heroku.com é altamente recomendado por outros para hospedagem escalável de RAILS, eu não tenho experiência nenhuma. Esta é a hospedagem de estilo gerenciado.
linode.com fornece algumas ferramentas básicas de estilo 'cluster', como intervalos IP privados e endereços IP de failover. Isso exigirá investimento em seu tempo ou dinheiro para os deveres de SA.
Comece pequeno, crie seu aplicativo para que ele possa ser dimensionado com facilidade. Amplie o máximo possível com RAM e CPU quando precisar, dimensione o seu próprio hardware / datacenters conforme necessário.
Lembre-se, CPU / RAM sobem, os preços diminuem com o tempo. Se você puder fazer seu aplicativo funcionar nos próximos 12 meses, será possível aumentar o desempenho para atender à demanda sem gastar dinheiro extra.
Você não quer hospedar-se em seu escritório como está implícito em seu post, você pode conseguir fibra, e os switches redundantes. E quanto a balanceadores de carga, refrigeração, peças de reposição? Todas essas coisas custam tempo e dinheiro que são melhor gastos na criação do seu aplicativo.
Boa sorte.
Andrew