Na verdade, este é o endereço na especificação para HSTS, RFC 6797 (grifo meu):
11.3. Using HSTS in Conjunction with Self-Signed Public-Key Certificates
If all four of the following conditions are true...
o a web site/organization/enterprise is generating its own secure transport public-key certificates for web sites, and
[...]
...then secure connections to that site will fail, per the HSTS design. This is to protect against various active attacks, as discussed above.
[...]
However, if said organization wishes to employ its own CA, and self-signed certificates, in concert with HSTS, it can do so by deploying its root CA certificate to its users' browsers or operating system CA root certificate stores. It can also, in addition or instead, distribute to its users' browsers the end-entity certificate(s) for specific hosts.
Então você precisa fazer um destes:
- assine seu certificado auto-gerado com um certificado CA (que você também gerou) e instale o certificado CA no navegador (ou no repositório do SO, se o navegador usar isso)
- instale o certificado autoassinado no navegador ou no armazenamento do SO
Como instalar o certificado depende do navegador; Há várias respostas aqui sobre como fazer isso.
Na verdade, isso é o que você deve fazer mesmo sem o HSTS, pois isso evita os avisos de certificados usuais. No entanto, com a HSTS, é na verdade o único caminho.