Encontrado.
Não há necessidade de mudar para stream e não há necessidade de usar proxy_ssl on .
Um exemplo diferente da documentação oficial mostra como usar o HTTPS em http level. O truque (e esse foi meu erro quando tentei remover proxy_ssl on e me encontrei com o Nginx tentando chamar o servidor subjacente usando HTTP) é o valor proxy_pass . No meu caso, mantive o valor original:
proxy_pass http://demo-failover;
Em vez disso, eu deveria ter alterado para https :
proxy_pass https://demo-failover;
# ^