Você pode criar um único certificado com vários subjectAltNames que serão válidos para todos os nomes de host listados. Pessoalmente, em vez de usar certificados auto-assinados, eu prefiro executar uma CA privada usando o OpenVPN easy-rsa , para os quais existe um patch para o suporte subjectAltName .