does all data flow through the single varnish load balancer
Em suma, sim.
Pense nas coisas - o cliente estabelece uma conexão TCP com o IP do seu balanceador de carga. Como ele receberia respostas para suas solicitações HTTP, exceto se elas retornassem através da mesma conexão? Por razões óbvias, os servidores de back-end não podem gerar proativamente suas próprias conexões TCP de volta ao cliente.
on well optimized websites serving thousands concurrent visitors?
Não sei o que isso tem a ver com nada - o verniz se comporta da mesma maneira, independentemente do número de visitantes ou do nível de otimização relativo do site.