Existe uma alternativa ao httpfs2 para montar urls web no Linux?

Question

Atualmente, uso o httpfs2 para montar URLs da Web diretos no sistema de arquivos. Por exemplo, um arquivo rar que tem que ser descompactado, mas eu não tenho espaço suficiente no meu VPS para baixar E então descompactar o arquivo inteiro (espaço de 2x). No entanto, a velocidade de leitura é muito lenta com httpfs2, quando tento fazer o download do arquivo com wget, recebo pelo menos 10 MB / seg., Quando tento copiar o arquivo montado httpfs2, obtenho apenas 600 KB / seg. Comandante. O que posso fazer para alcançar quase a mesma velocidade que a conexão permite?

    

Answer 1

Você não pode ter o mesmo desempenho com httpfs2 , devido à sobrecarga de HTTP. Para 10 MB de arquivo, você tem ~ 100 solicitações, cada uma solicitando ~ 100 KB de dados (fonte: wireshark ) e latência, o que matará o desempenho. Você provavelmente poderia ajustar o FUSE para obter blocos maiores, mas provavelmente consumiria mais memória.

Outra opção seria começar a perguntar o próximo trecho antes que a transferência do trecho atual seja concluída ou fazer o download de vários trechos ao mesmo tempo, mas alguns servidores não permitem isso.

Uma possível solução muito mais fácil seria usar um pipeline, como:

$ curl http://server/file.tar.gz | tar xzv