Defina um bloco nginx para escutar na porta 80 para redirecionar tudo para https. Coloque a configuração usual no bloco 443.
server {
listen 80;
server_name _;
return 301 https://$server_name$request_uri;
}
server {
listen 443 ssl;
server_name _;
[....]
}