Na verdade, não há como mudar isso. Normalmente você não tem acesso aos navegadores dos visitantes do seu site.
HSTS - Segurança de transporte restrita HTTP
Eu suponho que você tenha configurado somente o HSTS via cabeçalho e não via lista (registre um domínio para ser https somente via pré-carregamento de HSTS). Se esse for o caso, todos os navegadores que visitaram seu site armazenaram seu domínio com a preferência de usar HTTPS para a idade máxima indicada.
Se você registrou seu domínio como um site somente HTTPS (isso inclui todos os subdomínios) por meio do link do que você precisa remover seu domínio de esta lista primeiro (removendo não recomendado - precisa de um tempo bastante longo).
HPKP - Fixação de chave pública HTTP
O mesmo aqui: Todos os visitantes do seu site armazenaram os pinos permitidos para o seu domínio em seus navegadores e, se você configurar um novo certificado SSL que não corresponda a um dos pinos, o navegador não abrirá o site.
Eu recomendaria usar um nome de domínio diferente.