Você já fez o trabalho duro. E você está correto em que você precisa substituir tanto a chave privada, bem como os certificados que foram re-emitidos para você.
Tudo o que você precisa fazer agora é substituir os arquivos de chave antigos pelo novo pacote crt e ca.
E sim, você precisa reiniciar o Apache (httpd). Se você não tiver certeza de que precisa ou não, considere também reinicializar a máquina inteira.
Claro, tudo isso é um ponto discutível se você não corrigiu seu sistema primeiro. Então, os passos na ordem correta seriam:
- Patch seu sistema (instale a versão corrigida do OpenSSL)
- Reinicie o Apache
- Gerar nova chave privada
- Obtenha o novo CRT da CA
- Substitua seus certificados
- Reinicie o Apache (ou melhor ainda, reinicie todo o seu servidor)