CertEnrollCtrl.exe
é um controle ActiveX do lado do cliente usado para inscrever certificados, e parece que está falhando para você. (É por isso que você está vendo mensagens de erro da DEP - o programa está falhando e um thread de execução está sendo desviado para a memória não executável. Desabilitar a DEP não ajudará porque a causa raiz é uma falha e, por fim, bug no tratamento de exceções do programa.)
Eu tentava acessar a interface de gerenciamento da Web de um computador remoto para ver se o controle falha da mesma maneira. Eu estou apostando que não vai. Isso não diz por que ele está falhando quando executado no servidor, mas a depuração dessa falha está bem além do escopo da falha do servidor. Há uma versão do hotfix do controle de registro de certificado que pode valer a pena conferir.
Você pode excluir a própria autoridade de certificação usando o MMC para registrar um certificado. Supor que funciona a falha é provavelmente isolado para o controle de inscrição de certificado.