Você pode verificar o valor de $ invalid_referer
A partir da Documentação :
Specifies the “Referer” request header field values that will cause the embedded $invalid_referer variable to be set to an empty string. Otherwise, the variable will be set to “1”. Search for a match is case-insensitive.
if($invalid_referer = ""){
return 403; #allow hot-linking only;
}
você também pode fazer
if($invalid_referer != "1"){
return 403; #allow hot-linking only;
}