Eu não usei isso sozinho, mas parece que proxy_ssl_name
pode ser o que você está procurando:
Por exemplo:
proxy_set_header Host example.com;
proxy_ssl_name example.com;
proxy_pass https://1.2.3.4;
Veja este documento para detalhes.