Você precisaria usar proxy_intercept_errors on
para fazer o que deseja alcançar. Ref: link . Aqui está a citação direta do que esta diretiva faz ...
Determines whether proxied responses with codes greater than or equal to 300 should be passed to a client or be redirected to nginx for processing with the error_page directive.