Como Dom disse que você pode usar EJBCA , mas é um PITA para configurar (ele usa o tomcat, você tem que se intrometer com o java key store, e os scripts de configuração estão um pouco quebrados). Eu desisti disso.
Depois, há openxpki , mas a documentação é tão falta que eu desisti disso também (os arquivos de configuração são um labirinto, depois de 6 horas de mexer com a minha configuração e ler os documentos eu ainda não tenho idéia de como configurar usuários).
O openxpki foi iniciado porque os desenvolvedores do projeto OpenCA estavam em desacordo com o autor original do projeto (se bem me lembro) . Eu não consegui descobrir como instalar o OpenCA no debian, então desisti disso também.
O autor do openWebPKI exige que você envie um e-mail para obter o código-fonte do interface web, isso também não instila confiança.
Neste momento, estou simplesmente usando alguns scripts de shell (o que é uma droga, grande momento).