O Nginx tem uma diretiva para isso. Você pode marcar um local como "interno", o que significa que o Nginx o processa apenas como resultado de reescrita, X-Accel-Redirect e similares. Se você tentar solicitar esse local diretamente, receberá 404 "Não encontrado".
location /downloads {
internal;
}
location /scripts {
# should issue X-Accel-Redirect: /downloads/file.ext
}