É possível forçar o wget a usar uma conexão?

Question

Estou tentando baixar cerca de 20 GB de dados com FTP com minha conta pessoal (não há scp disponível e tar -ing não é possível).

Estou usando o seguinte comando padrão:

 wget -m ftp://user:[email protected]/db/

Funciona algum tempo e depois falha durante a autenticação para um download.

Ao tentar se conectar com um cliente FTP ao servidor, ele responde com:

530 Sorry, the maximum number of clients (15) for this user are already connected.

Portanto, parece que o wget abre muitas conexões. É possível usar apenas uma conexão com o servidor com wget ?

    

Answer 1

Por padrão, wget usa FTP passivo , ou seja, ele usa uma conexão de controle e abre uma nova para cada transferência de arquivo.

No FTP ativo , o servidor abre as conexões necessárias. Se você pode aceitar conexões de entrada, essa é a maneira preferida de transferir arquivos via FTP.

wget apenas baixa um arquivo por vez, portanto, deve usar apenas duas conexões. Parece que as conexões não são fechadas corretamente. Tente se definir o modo de transferência para "ativo" corrige isso.

Para ativar o FTP ativo, use a opção --no-passive-ftp .

    

Answer 2

Acho que o wget funciona dessa maneira. No passado, quando precisei espelhar coisas sobre FTP, usei lftp .

    

Answer 3

wget não faz nenhum paralelismo, mas as conexões podem cair e ser contadas pelo servidor por um tempo.

--retry-connrefused --waitretry=30 deve ajudar. Eu vou deixar você olhar para wget(1) se eles não estiverem claros.