Você pode, usando o referenciador acl-type - citar o manual :
acl aclname referer_regex [-i] regexp ...
# pattern match on Referer header [fast]
# Referer is highly unreliable, so use with care
Uma configuração de exemplo que deve funcionar:
acl myreferer referer_regex -i ^http://www.example.org
http_access allow myreferer