Peça à CA que emitiu o certificado para revogá-lo. A CA (deveria) emite regularmente uma Lista de Revogação de Certificados (CRL), que é, em essência, uma lista negra de certificados que qualquer parte confiável (seu servidor Apache, neste caso) não deve confiar.
Você pode verificar se sua CA emite CRL procurando pela extensão CRL Distribution Point:
$ openssl x509 -noout -text -in example.crt | grep -A1 "Full Name"
Full Name:
URI:http://pki.example.test/cdp/example-CA.crl
O URL é onde a parte confiável pode fazer o download da CRL.
Como alternativa, a CA pode estar usando OCSP para distribuir informações de revogação. Esse é um sistema mais complexo, em que a parte confiável consulta o respondente em busca do status de revogação de um certificado específico. Você pode encontrar isso usando:
$ openssl x509 -noout -text -in example.crt | grep "OCSP"
OCSP - URI:http://ocsp.example.test
Esta é a URL do respondente do OCSP.
Se você não vir nenhum desses, a CA não está emitindo informações de revogação e provavelmente você está sem sorte.
No entanto, o Apache tem a opção SSLCARevocationFile , que pode apontar para uma CRL baixada através de algum método alternativo. No caso improvável de a CA gerar CRLs, mas não as distribuir pelos métodos acima, mas estiver disposta a enviá-las por e-mail para você, por exemplo; você pode salvar isso no servidor e apontar o Apache para ele com essa opção. Improvável, eu sugiro.