Eu finalmente encontrei uma resposta.
A seção CA_default do arquivo openssl.cnf da CA deve conter
copy_entensions = copy
Em seguida, as extensões no pedido são copiadas para o certificado.
Não parece possível limitar isso apenas a entradas subjectAltName.