Desde o nginx 1.3.15 existe uma diretiva " limit_req_status " que permite especificar o código de resposta http que o throttler retornará.
# Define a limit request zone called "bots" that will track requests by IP.
limit_req_zone $binary_remote_addr zone=bots:20m rate=15r/s;
# 429 = Too Many Requests
limit_req_status 429;
link RFC 6585 Códigos de status HTTP adicionais . Ele é usado, por exemplo, no Limitador de taxa da API REST do Twitter .
( A resposta de Michael também funciona porque na minha configuração o 503 é usado apenas internamente pelo nginx).