Problema com o pkg por trás de um proxy de chunking

Question

Eu tenho um FreeBSD 10.1 recém instalado no trabalho em uma VM. Como está por trás de um proxy corporativo, tive que definir HTTP_PROXY no ambiente e ele começou a funcionar bem.

Mas não é possível fazer com que pkg funcione corretamente. Eu instalei a partir de portas, ainda mesmo problema:

root@FriBi:~ # pkg update -f
Updating FreeBSD repository catalogue...
pkg: repository meta /var/db/pkg/FreeBSD.meta has wrong version or wrong format
Fetching meta.txz:   0%
pkg: No signature found
pkg: repository FreeBSD has no meta file, using default settings
Fetching packagesite.txz:   0%
pkg: No signature found
pkg: Unable to update repository FreeBSD
root@FriBi:~ #

Eu finalmente consegui contornar o proxy ... e imediatamente funcionou bem ... Então tentei analisar o diálogo HTTP. O proxy corporativo sempre envia suas respostas com Transfer-Encoding: chunked , que eu suspeitava ser a causa. Eu poderia até confirmar isso usando um proxy Python mínimo que:

• obtenha a resposta do proxy corporativo com readall() armazenando todo o arquivo
• envie de volta com um cabeçalho ContentLength para seu cliente (aqui pkg )

e, em seguida, novamente funcionou (eu poderia fazer pkg install xorg ...)

Minhas perguntas:

• é pkg realmente hostil ao proxy de fragmentação ou poderia ser um problema local de configuração?
• se fosse, não deveria estar documentado em algum lugar (não foi possível encontrar nada sobre isso)
• existe algum truque simples e interessante (por exemplo, um proxy oficial ) para transformar uma resposta HTTP fragmentada em uma não fragmentada?

EDITAR

O patch proposto foi integrado na versão 1.5 e este problema está agora resolvido por essa versão do pkgng.

    

Answer 1

Últimos desenvolvimentos sobre esta questão:

• arquivado como um relatório de bug para o FreeBSD Bug198772
• enviado na mailling list freebsd-pkg e recebi a confirmação de que o pacote 1.4 não pode processar respostas em partes
• patch proposto que poderia ser integrado no próximo release de 1.5 pkg
• (a partir de 2015-04-25) Eu posso confirmar que o patch foi integrado na versão 1.5, e que esta versão é atualmente usada no FreeBSD 10.1: problema resolvido.

Não é realmente uma resposta verdadeira, mas pode ajudar qualquer pessoa a enfrentar o mesmo problema. Aqui está o código Python para um proxy mínimo, ordenando o arquivo inteiro recebido no modo chunked e devolvendo-o com um cabeçalho Content-Length:

# -*- coding: latin1 -*-

import urllib.request
import http.server
import logging

class Handler(http.server.BaseHTTPRequestHandler):
    HEADERS = [ 'If-Modified-Since', 'Host', 'User-Agent', 'Accept',
                'Connection' ]
    def do_GET(self):
        logging.debug("Got a request %s", self.path)
        if self.server.debug >= 3:
            logging.debug("Original headers %s", self.headers.as_string())
        req = urllib.request.Request(self.path)
        for (key, value) in self.headers.items():
            if key in __class__.HEADERS:
                req.add_header(key, value)
        if self.server.debug >= 4:
            logging.debug("Send headers %s", str(req.headers))                
        r = self.server.opener.open(req)
        code = r.getcode()
        logging.debug('Code %d', code)
        if self.server.debug >= 3:
            logging.debug("Received headers %s", str(r.headers))
        if code == 200 and self.server.chunk:
            self.send_response(code)
            self.send_header('Transfer-Encoding', 'chunked')
            self.end_headers()
            while True:
                t = r.read(4095)
                logging.debug('Chunk : %d', len(t))
                self.wfile.write(("%03x\r\n" % (len(t),)).encode())
                if len(t) == 0:
                    self.wfile.write(b"\r\n")
                    break
                else:
                    self.wfile.write(t)
                    self.wfile.write(b"\r\n")
        else:
            t = r.readall()
            #print(t)
            self.send_response(code)
            logging.debug('Content-Length %d', len(t))
            self.send_header('Content-Length', len(t))
            self.end_headers()
            self.wfile.write(t)

class MiniProxy(http.server.HTTPServer):
    def __init__(self, port=8080, relay=None, chunk=False, debug=0):
        http.server.HTTPServer.__init__(self, ('', port), Handler)
        self.port = port
        self.relay = relay
        self.chunk = chunk
        self.debug= debug
        if relay is not None:
            logging.info("relay set to", relay)
            self.proxyHandler = urllib.request.ProxyHandler(
                {'http': relay})
            self.opener = urllib.request.build_opener(self.proxyHandler)
        else:
            self.opener = urllib.request.build_opener()

if __name__ == '__main__':
    import sys
    import argparse
    parser = argparse.ArgumentParser(description =
                      "Simple HTTP proxy to chunk or unchunk responses")
    parser.add_argument('-c', '--chunk', dest = 'chunk', action='store_true')
    parser.add_argument('-C', '--no-chunk', dest = 'chunk', action='store_false')
    parser.add_argument('-r', '--relay')
    parser.add_argument('-p', '--port', type=int,  default = 8080)
    parser.add_argument('-d', '--debug', type=int, default = 0)
    params = parser.parse_args()
    proxy = MiniProxy(port = params.port, relay = params.relay,
                      chunk = params.chunk, debug = params.debug)

    logging_format = '%(levelname)s:%(message)s'
    if params.debug == 1:
        logging.basicConfig(format=logging_format, level=logging.INFO)
    elif params.debug >= 2:
        logging.basicConfig(format=logging_format, level=logging.DEBUG)
    else:
        logging.basicConfig(format=logging_format)        
    try:
        print (sys.argv[0], "listen on", proxy.port)
        proxy.serve_forever()
    except KeyboardInterrupt:
        print('Stop')
        #proxy.shutdown()