Em teoria, ele será executado - mas será extremamente mal executado.
O Server Core é completo na instalação do Windows Server - apenas sem a GUI. Você ainda obtém funcionalidade completa de (no seu caso) DHCP, DNS etc e tudo o que falta são os elementos de apontar e clicar. O Núcleo do Servidor NÃO é um servidor do tipo somente DOS reduzido.
No seu caso, você estará executando um servidor Windows completo com várias funções instaladas e, enquanto 512 MB serão executados, você terá um desempenho ruim - especialmente ao executar tarefas mais difíceis, como enviar grandes atualizações de DNS para DCs etc.
Curiosamente (e em uma nota lateral) - você pode ativar e desativar a GUI como um recurso do Windows no PowerShell usando Get-WindowsFeature *gui* | Uninstall-WindowsFeature –Restart
(e Intall-WindowsFeature)