Caminho para iniciar o download remotamente para outro computador

Question

Estou procurando uma solução entre um proxy e wget , pois nenhum dos dois aborda totalmente o problema que estou tentando resolver.

Eu quero fazer o download de arquivos para um diretório específico em minha máquina doméstica (um servidor Linux - somente linha de comando) de locais remotos (via smartphone, navegador da web, etc.). Isso parece uma solução para wget , exceto que muitos dos arquivos que eu baixaria vêm de fontes que criam "sessões" especiais de download para você via AJAX / Javascript (por exemplo, Uploaded.net, Mega.nz).

Eu imagino que eu teria que usar um proxy em algum ponto deste processo, mas eu não quero que os dados do download cheguem ao meu dispositivo remoto, pois isso desperdiçaria largura de banda. Mas, usar um proxy para acessar os sites e criar as sessões funcionaria para mim.

Portanto, soluções que não funcionam (pelo menos fora da caixa):

• Área de trabalho remota: somente Windows
• VNC: eu só tenho acesso à linha de comando; também, não tão amigável com smartphones e afins
• wget : links de download geralmente existem apenas para uma "sessão"; muito difícil de emular o ambiente AJAX para sites
• proxy: envia todos os dados para o cliente remoto; montar o diretório remoto faria com que os dados tomassem três saltos (site para proxy, servidor / proxy para cliente, cliente para diretório remoto). Estou procurando uma rota direta (site para diretório remoto) para o download.

No meu mundo perfeito, estou prevendo a navegação para um site através de um proxy, mas quando o navegador classifica algo como um Download, ele apenas faz o download para o diretório remoto (ou até abre um arquivo Save dialog e me permite escolher onde salvá-lo no servidor remoto). A solução não precisa ter esse nível de simplicidade, mas espero que isso ajude a esclarecer o impulso da minha pergunta.

    

Answer 1

Para minhas necessidades, decidi pelo JDownloader , um aplicativo Java de código aberto para lidar com downloads de vários sites, incluindo downloads HTTP diretos. Ele lida com temporizadores de espera de página e apresenta os captchas para mim quando eu preciso resolver um.

Ele tem uma GUI sofisticada, mas eu tenho executando headless (sem GUI) no meu servidor máquina e interface com ele via interface web do JDownloader ou o aplicativo para Android , o que significa que posso iniciar downloads de qualquer navegador ou até mesmo do meu telefone.

Ainda não funciona perfeitamente com alguns sites, mas certamente funcionou bem para mim em geral. Na minha opinião, o aplicativo para Android tem uma interface ainda melhor do que o site do navegador.

    

Answer 2

wget tem opções para salvar e carregar cookies. Às vezes, dependendo do site, se você usar o wget para carregar a página da Web em que o link está e informar para salvar os cookies, faça outra solicitação para o arquivo real e faça com que ele carregue os cookies que ele irá funcionar.

É um processo de dois passos como este:

wget --cookies=on --keep-session-cookies --save-cookies=cookie.txt http://domain.com/page_with_link.html
wget --referer=http://domain.com/page_with_link.html --cookies=on --load-cookies=cookie.txt --keep-session-cookies --save-cookies=cookie.txt http://domain.com/some_file_to_download.zip

    

Answer 3

Navegue até o endereço e faça o download do arquivo com Links por meio de uma conexão SSH. Uma tela GNU também pode ser usada para finalizar o download sem que a conexão SSH ainda esteja aberta.

    

Answer 4

imediatamente, o único software para fazer o download de hosters de um clique que você pode executar em um linux cli que eu me lembro é ploughshare - é praticamente um simples morto, e lida com cargas de hosts de arquivos. Não se esqueça de executá-lo na tela ou no tmux para que você possa desanexar a sessão em vez de precisar manter a sessão do ssh aberta

Se você não se importasse com uma GUI, sugeriria que eu visse slimrat

    

Answer 5

Outra possibilidade (além de talvez modificar o ziproxy para adicionar uma opção "salvar esses tipos localmente") seria usar um servidor X.

Existem servidores X para smartphones e também para Windows. Esta resposta sugere os servidores X do cliente HTTP .

Assim, em seu smartphone Android típico, você instalaria o servidor Android X, e na caixa do Linux, um tema simples de navegador Firefox para telas pequenas. Agora você tem uma tela local no processo remoto e qualquer download acontecerá remotamente. Muito semelhante ao VNC, mas mais amigável para smartphones.

Em dispositivos de tela grande, você ainda inicia o servidor X, mas desta vez inicia uma instância normal do Firefox.

    

Answer 6

Você tem as seguintes opções:

• executar uma máquina virtual no servidor remoto, instalar seu sistema operacional favorito na VM e executar seu navegador favorito por meio do console gráfico da VM, acessado por meio do protocolo de área de trabalho remota suportado pelo software da VM (por exemplo, VirtualBox ser acessado com o rdesktop), opcionalmente encapsulado através de SSH,
• execute seu navegador favorito nativamente no servidor, via protocolo X remoto, opcionalmente encapsulado através de SSH (é aconselhável usar a opção de compactação do SSH também)
• executar um navegador de texto (por exemplo: lynx) por meio do SSH (opcionalmente na tela),
• executa um cliente HTTP idiota (por exemplo: wget, curl) por meio do SSH (opcionalmente na tela),
• executa um proxy HTTP (por exemplo: squid) com configurações não padrão: você provavelmente teria que aumentar o tamanho máximo permitido para ser armazenado em disco, e é prático diminuir o limite de aborto (o ponto em que o proxy terminará o download mesmo que o cliente tenha cancelado, para que você possa iniciar o download e, em seguida, pare o cliente antecipadamente e deixe o servidor proxy concluir o trabalho),
• escreva seu próprio cliente HTTP:)

Answer 7

Instale o servidor owncloud ( link ) na sua caixa linux, e clientes owncloud nos seus dispositivos (smartphone, pc remoto, o que for). Config, authenticate e Voila! agora você pode salvar os downloads em sua própria unidade de disco ...