Eu não estou usando um VirtualHost, então as configurações em ssl.conf estavam sendo aplicadas. Alterei os valores em ssl.conf para o seguinte e obtive o certificado funcionando corretamente.
SSLCertificateFile /etc/httpd/conf/ssl.cert/herpderp.derp.com.pem SSLCertificateKeyFile /etc/httpd/conf/ssl.key/herpderp.key SSLCACertificateFile /etc/httpd/conf/ssl.cert/tower.derp.com.pem