Se você quiser passar isso completamente sem Varnish, então a melhor opção é return(pipe); , que basicamente diz ao Varnish para atuar como um proxy TCP idiota durante a duração da conexão.
Mas o fato de você ter recebido uma resposta 503 parece implicar que alguma outra coisa está errada - você pode fornecer a saída de varnishlog quando um pedido para esse recurso for feito, se o modo de canal não funcionar ?