Acho que proxy_buffering
é útil apenas em alguns casos. Por exemplo, evita manter uma conexão aberta entre o nginx e o upstream quando a conexão entre o nginx e o cliente é lenta.
No entanto, não tenho certeza se desativá-lo melhoraria significativamente o desempenho, mesmo no seu caso.
Uma alteração menos radical do que a desativação de proxy_buffering
poderia estar configurando proxy_max_temp_file_size 0
para garantir que o desempenho não seja prejudicado pelo disco IO.