Encontrei a solução aqui:
Essencialmente, o que é necessário é fingir que o proxy de encaminhamento é outro servidor em uma "Hierarquia de Cache".
Você precisa adicionar o seguinte ao seu arquivo Squid.Conf
:
cache_peer parentcache.foo.com parent port 0 no-query default
never_direct allow all
Isso deve fazer você ir.