Eu tive o mesmo problema ao instalar o Server 2016 no VMware player 2012. Eu estava usando a instalação fácil e não importava quanta memória RAM ou núcleos ele ainda fornecesse o erro. A solução foi escolher "vou instalar o sistema operacional mais tarde". Em seguida, basta configurar manualmente tudo a partir daí sem fácil instalação e funciona bem.