Embora essa pergunta tenha sido feita originalmente em 2011, alguém decidiu hoje, cinco anos depois, que era uma boa idéia fazer um comentário sobre uma resposta de 5 anos. Qual foi o suficiente para me fazer querer atualizar minha resposta para refletir minhas exibições mais atuais. Como ele ainda aparece nos resultados de pesquisa, acho que vale a pena deixar a resposta mais atualizada.
Várias novas versões do Windows e várias novas versões do Data Protection Manager foram lançadas desde que você fez esta pergunta.
Em 2011, instalar o DPM no Server Core era difícil, dependendo da versão do DPM que você estava usando, quais componentes específicos do DPM que você estava tentando instalar (o agente ou o servidor?) e sua disposição de hackear coisas como as permissões do DCOM para que elas funcionem de verdade. (E sim, ainda há muito software, incluindo o próprio software da Microsoft, que não é executado no Núcleo do Servidor porque o Núcleo do Servidor não oferece suporte à estrutura .NET completa. Especialmente, não em 2011, quando essa pergunta foi feita.)
Mas o tempo avançou e houve novos desenvolvimentos.
Se você estiver falando sobre a instalação do DPM Agent no Server Core, encontrará exemplos de pessoas com êxito instalando o agente do DPM 2012 no 2012 Core , embora não seja totalmente livre de problemas.
Aqui está um exemplo de até obter o agente instalado no núcleo do 2008 R2, novamente, com alguns ajustes extras necessários.
Na documentação da Microsoft arquivada (leia-se: desatualizada) citada, o 2008 R2 Core foi suportado como sendo capaz de instalar o agente até mesmo no DPM 2010, no entanto, o próprio componente de servidor do DPM 2010 não era suportado no Core .
Agora, na documentação que é recente a partir de 2016.
Esse link é uma ótima matriz de compatibilidade com relação ao System Center 2016, incluindo o DPM. Ele mostra que o agente pode ser instalado no Server Core ou Server com "Desktop Experience" e o componente DPM Server também pode ser instalado no Server Core, mas o console de Administração Remota ainda requer a "Experiência Desktop", ou seja, < em> não Núcleo do Servidor.
Espero que ajude.