Nós rodamos o FMS 3.5 em um Dual Dual-Core Xeon com 4GB de RAM, e até agora ele não perdeu nada. Corremos cerca de 50-150 conexões simultâneas. O principal problema que você terá, por experiência, é a memória. O FMS adora armazenar em cache, especialmente ao estragar o conteúdo solicitado com frequência.
Há apenas uma coisa que eu aconselho a esclarecer - não execute o FMS em um ambiente virtualizado. Inicialmente, tínhamos rodado dentro de uma máquina virtual e era absolutamente patético. Mudar para um servidor 'real' (mesmo que o servidor seja compartilhado com outros serviços) foi mil vezes melhor.
Atualização : Acontece que o servidor virtual em que estávamos executando o FMS tinha os drivers de NIC incorretos instalados. Foi um convidado Xen. Nós nos mudamos para o VMWare desde então, e nós não tentamos novamente rodar o FMS sob os novos hosts, já que ele ainda está tomando conta de sua própria caixa.
Outra coisa a notar é que rodamos o Windows, que é provavelmente menos eficiente que as variantes * nix.
Com um pouco de QoS entre o servidor e os clientes para maximizar o throughput para coisas que você realmente precisa (como streaming de vídeo) e acelera as coisas que você não faz muito (chats na webcam), não consigo imaginar problemas se você rodasse um servidor com dois núcleos e 4gb de ram.