Você tem algumas opções. Você pode:
1) Defina a fastcgi_param de PHP_VALUE como a configuração relevante na configuração nginx: fastcgi_param PHP_VALUE "memory_limit = 128M"
2) Defina-o por meio da configuração php_value no arquivo de configuração do pool do FPM. Algo como php_value[memory_limit] = 128M . Use php_admin_value se você não quiser que a configuração seja substituível por ini_set .