Você precisaria encontrar (ou contratar um serviço) que simule usuários usando seu site simultaneamente. Você não pode fazer isso em geral sem saber quantos dados podem ser extraídos, e isso é muito específico para o seu aplicativo. Quanto conteúdo estático é puxado? Vídeo? Gráficos? Dados gerados?
Em seguida, você precisaria descobrir quantos dados podem caber na sua conexão com a Internet, se o seu aplicativo estiver fazendo o trabalho do lado do servidor, se vai maximizar o seu processador ou memória, você está usando um banco de dados? E quanto ao seu sistema de armazenamento em disco? Você normalizou o banco de dados?
O hardware mais decente hoje com uma conexão decente com a Internet deve funcionar para o servidor mais , pois duvido que a maioria das startups vá atingir o tráfego do Google ou do Youtube ou do Facebook durante a noite, mais em ter um aplicativo e servidor projetados para escalar conforme necessário. Você pode ter uma idéia do hardware usado no Serverfault através do blog do Stack Exchange, e eles não estão realmente usando muito hardware pesado para servir os sites. Mas novamente; é altamente dependente do design do aplicativo e dos dados sendo enviados aos usuários.
No final, a única maneira "fácil" de saber é testá-lo. Não há nenhuma fórmula mágica ou programa para testá-lo localmente.