Adicione o seguinte ao seu /etc/varnish/default.vcl
sub vcl_recv {
remove req.http.X-Forwarded-For;
set req.http.X-Forwarded-For = client.ip;
}
Atualize sua configuração do apache para alterar seu CustomLog
para o seguinte:
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b" varnishcombined
CustomLog /var/log/example.com-access_log varnishcombined
Para mais informações, consulte esta página: link