Eu tinha o SELinux ativado, o que impedia que o Nginx fizesse conexões de saída.
Você pode verificar isso com:
# getenforce
Se o SELinux estiver ativado e você estiver experimentando isso, tente configurar httpd_can_network_connect como true e, em seguida, reinicie o nginx:
# setsebool -P httpd_can_network_connect true