Há muitas coisas a serem consideradas.
Quanto tráfego você espera simultaneamente?
Qual a complexidade do seu site / apps?
O IIS não tem muita sobrecarga. O aplicativo / site terá a sobrecarga.
Realmente não existe uma regra de ouro quando se trata de quantos sites / conexões versus quanto ram.
No servidor de banco de dados, no entanto, é ótimo ter o máximo de memória RAM que o tamanho de seus bancos de dados para permitir que os bancos de dados fiquem sem memória.
Eu tenho visto servidores rodando 2500 sites muito pequenos, 2/3 páginas com 3 GB de RAM e IIS usando cerca de 750 MB do RAM.
Também vi clusters de servidores executando 1 site e precisando de 64 GB de RAM ou mais para acompanhar o processo de trabalho.
A única vez que vi um servidor com mais memória RAM estava executando o ColdFusion 9 devido ao bug da coleta de lixo, eles consertaram a coleta de lixo em 10.
Ao considerar a RAM, não esqueça da RAM do sistema operacional e faça alguns testes de carga.