Você está tentando retornar um erro 404 para todo o IP, mas o especificado? Use a diretiva "error_page" com o parâmetro "= 404". Mais ou menos ...
location /specificurl {
root /var/www/site1.com/current;
allow 123.123.123.123;
deny all;
error_page 403 =404 /404.html;
}
Furthermore, it is possible to change the response code to another, for example:
error_page 404 =200 /empty.gif;
Ou algo parecido ...
location /specificurl {
root /var/www/site1.com/current;
allow 123.123.123.123;
deny all;
error_page 403 = @goaway;
}
location @goaway {
return 444;
}