Eu responderei suas perguntas primeiro:
Q) É possível executar a máquina virtual GNU / Linux no núcleo do servidor
A) Sim com função HyperV
Q) Posso usar uma máquina virtual VMWare no A) Não. Existem recursos limitados para a interface do usuário do núcleo do servidor.
Você pode ativar a função Hyper-V no seu servidor. Se você tem uma máquina Vista ou Win 7, você também pode baixar as ferramentas de gerenciamento HyperV para ajudar na criação de suas máquinas virtuais.
Experimente estes sites para obter ajuda: