O Varnish não faz SSL, por isso, o Varnish- > nginx ou o Varnish- > HAProxy não funciona com o SSL.
Por outro lado, colocar qualquer coisa na frente do Varnish (além da terminação SSL) provavelmente tirará você dos benefícios de desempenho que o Verniz oferece.
Ter o hardware e / ou sistema operacional do verniz (cache) compartilhado com o servidor da Web pode ou não ser um problema. Depende enormemente dos parâmetros de tráfego que você está atendendo. O mesmo é verdade para o dimensionamento de hardware. Depende também dos seus objetivos.