Se isso vai funcionar ou não, depende muito dos aplicativos.
Em face disso, não consigo ver as CPUs lutando desde que haja uma carga de RAM e discos rápidos (SSD ou 15k discos)
O que pode provar que isso é errado é a natureza dos aplicativos. Eu sei que você menciona que seu aplicativo é simples - mas é um pequeno aplicativo que requer muita CPU? Além disso - tenha em mente que você estará executando 500 processos do Windows Explorer, potencialmente 500 agentes AV, 500 ... você tem a idéia.
Provavelmente vale a pena ir com a sua configuração como está e, em seguida, adicionar servidores adicionais, conforme necessário. Você sempre pode implementar balanceamento de carga em caixas RDS. Isso também cobrirá você no caso de uma caixa morrer e permitirá que você teste melhor os patches do Windows para garantir que eles não estraguem um aplicativo de missão crítica. Dê uma olhada no este artigo para obter mais informações.