Não há como remover parcialmente a senha, você tem uma senha de certificado ou não.
Você diz que não está obtendo o prompt de senha, o que é possível se estiver sendo iniciado automaticamente. O prompt de senha possivelmente está terminando no usuário que inicia o apache.
Eu percebo que não é ideal, mas eu tendia a definir o apache para não iniciar automaticamente ou para iniciar manualmente. Você pode colocar a senha em um script, mas isso é quase o mesmo nível de não ter uma senha IMHO.