Seu bloco de servidor https não deve redirecionar nada para http, pois você não precisa disso nessa situação.
Seu bloco de servidores http deve redirecionar tudo, exceto o URL em questão:
server {
listen [::]:80;
listen 80;
server_name .example.com;
root /srv/www/example.com;
location = /sitemap_index.xml {
try_files $uri =404;
}
location / {
return 301 https://$host$request_uri$is_args$args;
}
}