Você pode usar este one-liner para regenerar os dois arquivos de uma só vez. Você precisará reiniciar o Apache depois que o certificado for recriado.
openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout /etc/ssl/private/ssl-cert-snakeoil.key -out /etc/ssl/certs/ssl-cert-snakeoil.pem
Se você está preocupado com a segurança (e deveria estar), então deve gerar certificados em todos os servidores críticos afetados, seguido por um reinício completo do serviço ou uma reinicialização do sistema.
Se você está apenas rodando uma caixa de brincadeira na sua LAN, isso é uma coisa, mas qualquer coisa que você tenha na internet, você definitivamente deveria reeditar.