Você precisa usar a diretiva limit_req .
http
{
limit_req_zone $binary_remote_addr zone=zonename:100m rate=25r/s;
server
{
limit_req zone=zonename burst=5;
$binary_remote_addr
limita cada IP para 25 solicitações por segundo rate=25r/s
Você pode adicionar nodelay
a limit_req
para responder com um 503 assim que o limite for atingido.