Tudo bem! Depois de verificar novamente os logs nginx, isso acabou sendo o problema:
2014/05/26 16:50:56 [crit] 31396#0: *11 open() "…/proxy_temp/2/00/0000000002" failed (13: Permission denied) while reading upstream, client: 1.2.3.4, server: _, request: "GET /debug/big-file HTTP/1.1", upstream: "http://127.0.0.1:1234/debug/big-file", host: "example.com"
Alguns como as permissões para o diretório proxy_temp
ficaram confusas, o que impediu que o nginx armazenasse o buffer adequadamente.