Eu descobri o caminho para resolver isso.
O verniz armazena uma página em cache diferente para cada usuário-agente específico. Eu encontrei a seguinte técnica para normalizar o agente do usuário ( link )
Acabei de colocar tudo em uma cesta e vejo um grande aumento no número de acessos.
Em vcl_recv:
if (req.url ~ "\.(png|gif|jpg|swf|css|js)$") {
set req.http.user-agent = "Mozilla";
unset req.http.Https;
unset req.http.cookie;
return (lookup);
}