Com o SQL Server 2008, você pode ir até 64 núcleos e, no máximo, 2TB de RAM (no Windows 2008 R2). Com o SQL 2008 R2 você pode ir até 256 núcleos, mas requer a edição do DataCenter. Veja Memória Suportada pelas Edições do SQL Server , e Limites de memória para versões do Windows
Não sou especialista em VMware, mas acho que a memória máxima suportada por eles é de 255 GB, consulte Limites de memória de máquinas virtuais e versões de hardware
Claro, você precisará de um subsistema de E / S bem sério para acompanhar isso.