O VMWare Server é bastante semelhante ao VMWare Workstation, pois é executado sobre um sistema operacional existente; você deve usar o VMWare ESXi, que também é gratuito, mas usa a mesma tecnologia de hypervisor do ESX, o que leva a um desempenho muito melhor.
Sobre as especificações: muito difícil de responder sem saber o que você vai virtualizar. A única resposta possível é "quanto mais, melhor".
Uma dica que posso lhe dar: consiga quantos discos físicos você puder. As VMs apresentam um desempenho muito melhor quando residem em discos dedicados do que quando compartilham o mesmo disco. Uma caixa com 2 CPUs quad-core e 16 GB de memória terá um tempo muito, muito difícil, com apenas um único disco grande, enquanto ele fará maravilhas com quatro discos menores.