Isso é o que a pretende fazer. Depois que um navegador visitar a versão https de um site e receber o cabeçalho de HSTS de volta, ele sempre solicitará a versão https até a data de expiração, que no seu caso é de um ano.
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains";
E como você tem includeSubDomains
, os subdomínios estão incluídos.
Para desativar o HSTS, altere a idade máxima para 1, solicite a versão https novamente para armazenar em cache o novo cabeçalho, aguarde um segundo e tente a versão http.
Ou você pode simplesmente remover includeSubDomains
e solicitar novamente a versão https para armazenar em cache o cabeçalho.