Você precisará de um segundo (prefiro aninhado) bloco php desde que você queira que esses arquivos php sejam tratados de maneira diferente. Além disso, assumindo que / restricted é suposto ser um prefixo uri e não apenas algo que aparece em qualquer lugar no uri, você quer um tipo diferente de localização:
# This handles everything that starts with /restricted,
# and no regex locations will override it
location ^~ /restricted {
allow 1.2.3.4;
deny all;
# This will inherit the allow/deny from the outer location
location ~ \.php$ {
include fastcgi.conf;
fastcgi_pass backend;
}
}