Você precisa observar o modo de graça e / ou o modo Saint.
Varnish Grace & Modos de Saint
O modo Graça permite que você exiba conteúdo antigo quando seus backends estão inativos ou lentos, e o modo saint permite que você tente novamente outro back-end se o back-end que você usou responder com um erro.