O upload em massa via FTP é interrompido após aprox. 50 arquivos

4

1. O problema:

O upload em série de 100 ou mais arquivos via FTP é interrompido. Comportamento irregular. Em um novo PC de 2011, o Ubuntu acabou de instalar. Nenhum outro problema com o Ubuntu. Ação rápida do navegador e carregamento do site.

PERGUNTA O que eu poderia tentar, além das etapas descritas abaixo?
Ou há um erro primitivo ou uma solução primitiva?

Texto original não modificado. Atualizações feitas adicionando:

  • Dez.7, 2011: Informações adicionadas abaixo em 3.2)
  • Dec.9,2011: adicionado: 4.d) 4.e)
  • Dez.10,2011: adicionado 4.f)

2. Mais fatos:

FTP upload de vários arquivos 1000 (vários sites) é feito aqui por programas Perl próprios que enviam uma série de comandos padrão FTP para o FTP padrão do sistema LINUX. Efeito: semelhante ao espelhamento - mas permite o ajuste fino.
Os únicos comandos utilizados "ftp mput" compreendem, e. 100 arquivos, cada arquivo aprox. 100 KB. Aprox. 1000 arquivos por site.

Fazendo upload para: sites da Web usando hospedagem compartilhada. Os servidores usam o Linux, por exemplo Bluehost = Hostmonster ou Lunarpages.

3.1) Até agora eu nunca tive esse problema.

Durante anos, nunca tive um problema com o Fedora. O Fedora 13 em um PC a partir de 2006 continua a fazer o trabalho mesmo agora corretamente (conexão DSL idêntica, hardware DSL idêntico). Eu intencionalmente não atualizei o Fedora 13. Então, o Linux ftp pode ter mudado um pouco nesse meio tempo. Mas não é provável que este seja o motivo.

Os PCs são usados aqui apenas como fornecedor do sistema operacional. Os dados e o software próprio estão em um HD externo, são independentes do sistema operacional e portáteis (organizados pelo software Perl).

O novo PC UBUNTU não faz este trabalho perfeitamente, enquanto trabalha no HD externo idêntico e com um ambiente de software idêntico.

(Apenas o cabo de rede é diferente, mas isso não deve causar nenhum problema. 1 m de comprimento para o antigo FEDORA PC, 5 m para o novo Ubuntu PC.)

3.2) Específicos do UBUNTU causam provavelmente o problema (adicionado em Dec.7,2011)

Nesse meio tempo / agora eu tenho:

UBUNTU 64b do final de 2011 no novo PC / 2011, discos rígidos SATA.

UBUNTU 32b do final de 2011 nos discos rígidos antigos do PC / 2006, PATA (/ IDE).

Estes são apenas fornecedores do sistema operacional. Todos os dados, software e execução são feitos em um HD externo que é IDENTICAL para ambos os casos.

Em ambos os casos, o problema descrito ocorre. NÃO ocorre para o PC antigo quando executado com o Fedora 13 (a partir de 2009).

O problema é, portanto, muito provavelmente de alguma forma correlacionado com características específicas do UBUNTU.

Existe uma probabilidade muito baixa de que, desde o FEDORA 13, o sistema LINUX geral tenha mudado, resultando neste problema.

Com uma rápida pesquisa no Google, até agora não encontrei nenhuma informação sobre problemas semelhantes.

Todo o restante do UBUNTU está funcionando bem no novo PC com uma tela ampla. Então, é daqui por um momento a escolha.
Estou recebendo essas semanas uma conexão de Internet DSL 10 vezes mais rápida. Talvez o problema desapareça. (Eu suponho que não vai desaparecer.)

4.a) A configuração de prioridade não ajuda.

Com o comando nice, testei uma prioridade de -18 (verificado em gnome-system-monotor - sim, -18). Isso não ajudou.

4.b) o uso do sudo não ajudou

Eu também tentei ligar para o programa Perl que faz o trabalho, com o sudo. Isso não influenciou o resultado.

4.c) Comportamento irregular

Não há regra em qual ponto do tempo (qual arquivo) o upload está parado. Normalmente, depois de alguns minutos - apenas uma vez fez todo o trabalho de 2 horas. Existe talvez uma pequena correlação com as horas de ponta do uso da Internet. Mas isso não é certo.

4.d) Nenhuma ajuda de: código fonte, -i flag, -v flag (added 9 dez.2011)

Os programas COMPLETE long Perl não seriam úteis aqui. (Vários recursos, sites, específicos, ...).

Aqui o comando OWN (sub-rotina Perl) com o problema de upload (exemplo):

e FTP_c_mput ("www / ppp-de / *. htm")

Isto simplesmente faz o comando FTP: mput www / ppp-de / *. htm

para ~ 200 arquivos, mas (o problema :) pára no arquivo 30 ou mais

-i Tudo é automático - portanto, já com o sinalizador -i, portanto, nada interativo. Portanto, um erro de tempo limite normalmente nunca deveria ocorrer.

-v --- Sempre no modo verbose (portanto os resultados nos nr.5.2 e 5.3)

Eu ainda tenho que implementar dentro do software a função debug -d (como recomendado). É duvidoso que ajude - porque ...:

4.e) Razão do problema mais provável - suponho (adicionado dezembro 9,2011)

O mais provável é que algum processo, específico para o Ubuntu, crie um atraso - para que o programa de ftp não forneça rápido o suficiente o próximo arquivo para o PC remoto (servidor da Internet). Mas eu não declarei atrasos de vários segundos para qualquer outra função. Tudo funciona perfeito e rápido.E não consegui encontrar nenhuma correlação de alguma ação de software antes da ocorrência do problema.

Indico, por exemplo, um curto acesso a disco rígido a cada 3 segundos (se o controle estiver funcionando corretamente). A cada 3 segundos - ou mais rápido Não é regular. Isso pode ter explicações simples. Isso continua mesmo quando não há nenhum aplicativo em execução - um monitor totalmente vazio. Mas eu não acredito que a razão esteja relacionada a isso.

4.f) Recurso de depuração? ftp -d (added Dec.10,2011)

O sinalizador -d para ftp: não tente (enquanto recomendado por um comentário).

O sinalizador -d, como tal, não é suficiente. Para obter o ftp logado, várias etapas são necessárias (rsyslog.conf ...). A probabilidade de que esse investimento de tempo levasse ao sucesso é para esse tipo de problema próximo de zero.

Então, vou continuar com a solução: Fazer upload em massa no Fedora (= PC 1), tudo o resto no Ubuntu (= PC2), e tentar outras etapas para encontrar em algum futuro a solução.

5.1. Exemplo: esta é uma exibição de controle durante os uploads

Esta exibição é feita pelos meus próprios programas Perl, portanto não pelo FTP. Encurtado Pode incluir 100 a 300 arquivos.

/ xmed-ppp-de / index.htm www / xmed-ppp-de / wweb-pare-med-de.htm www / xmed-ppp-de / wwee-fina-med-de.htm www / xmed-ppp-de / wwfu-cont-med-de.htm www / xmed-ppp-de / wwfu-sepa-med-de.htm

5.2. Exemplo: A exibição padrão do programa ftp é como:

150 Conectando à porta 63555

# ...

226-Arquivo transferido com sucesso

226 7,126 segundos (medidos aqui), 10,14 Kbytes por segundo

73985 bytes enviados em 0,81 s (89,7 kB / s)

local: www / xmed-ppp-de / wyck-tob-bo-med-de.htm remoto: www / xmed-ppp-de / wyck-tob-bo-med-de.htm

Comando PORT 200 bem sucedido

5.3. Exemplo: o display quando interrompido:

Com o novo UBUNTU instalado em um novo PC, a série está terminando principalmente após aprox. 30 arquivos, variando de forma aleatória entre 20 e 50, com a seguinte mensagem de erro: - portanto: um erro de tempo limite para a minha digitação - mas era o comando de volume de FTP mput, - então não pode haver um problema de velocidade de digitação no MEU PC ...

150 Conectando à porta 63562

# ...

226-Arquivo transferido com sucesso

226 10,317 segundos (medidos aqui), 14,02 Kbytes por segundo

148068 bytes enviados em 6,65 segundos (21,8 kB / s)

local: www / xmed-ppp-de / wyck-tob-ris-med-de.htm remoto: www / xmed-ppp-de / wyck-tob-ris-med-de.htm

Comando PORT 200 bem sucedido

421 Tempo limite - tente digitar um pouco mais rápido na próxima vez

local: www / xmed-ppp-de / wyck-tob-sto-med-de.htm remoto: www / xmed-ppp-de / wyck-tob-sto-med-de.htm

Nenhuma conexão de controle para o comando: Success

local: www / xmed-ppp-de / wycu-nut-med-de.htm remoto: www / xmed-ppp-de / wycu-nut-med-de.htm

............... etc. etc. para todos os arquivos a seguir ............

    
por Piotre 06.12.2011 / 17:09

1 resposta

2

(Aqui está a minha própria resposta para a minha própria pergunta acima.)

A solução é:

O problema não ocorre mais quando se usa uma conexão de Internet mais rápida.

Ocorreu para uma velocidade de 0,2 Mb / s (velocidade padrão do DSL passado para uploads - nível como em 2005,2006; não medido).

Ele não ocorre mais para uma velocidade de 1,2 Mb / s ou similar (velocidade de upload atual, via UMTS de acesso à Internet móvel, medida com link )

Em caso de velocidade reduzida com este formulário de acesso móvel (UMTS), o problema ocorre novamente. Isso pode acontecer durante as horas diárias de pico da rede de acesso móvel à Internet.

A velocidade aqui durante as próximas semanas aumenta para 5 Mb / s (upload, 25 ou 50 para downloads). Então, isso provavelmente resolverá o problema de maneira definitiva.

Agora temos uma boa definição para o motivo do problema:

Esse tipo de problema ocorre apenas para o DVD de distribuição UBUNTU usado no final de 2011 (mas provavelmente para todas as distribuições UBUNTU atuais).

Isso nunca ocorre para o Fedora Core, pelo menos até a versão 13 = 2009. Versões posteriores ainda não foram verificadas. Supõe-se que versões posteriores e atuais (2011,2012) do Fedora Core também não terão este problema.

O problema não é muito importante. É incomum que esses trabalhos de upload em massa sejam feitos para usuários com velocidades de upload lentas, típicas para 2005, aproximadamente.

Remoção de bug: há algum bug?

Programas utilitários de FTP provavelmente fazem uploads em massa de uma maneira diferente e, portanto, provavelmente não serão afetados. O problema provavelmente só ocorrerá se os uploads em massa forem feitos usando para os arquivos 30 ++ o comando FTP básico: mput

Esse comando deve funcionar para todas as velocidades de upload - também para modems com telefone fixo - e para todas as quantidades de arquivos.

Então, há um bug? - Provavelmente apenas no sentido de alguma configuração inicial padrão. A configuração de prioridade do processo não resolveu o problema. Mas pode ser que o problema esteja relacionado a prioridades de computação para os recursos gráficos de alto nível do Ubuntu atual (aprendi a gostar deles ...).

Talvez esse problema de FTP não importe. Antes de colocar esta questão neste site, eu tinha procurado via Google eu não encontrei outra pessoa comunicando o mesmo tipo de problema.

Outro motivo possível?

Alguns outros motivos totalmente diferentes podem ser: Instabilidade de conexões com a Internet, devido a alterações locais atuais aqui,

e com alguma vulnerabilidade maior disto para a configuração do UBUNTU (do final de 2011) do que para o Fedora Core (a partir de 2009).

Então, vamos esquecer isso ...

    
por Piotre 29.12.2011 / 12:06

Tags