FTP muito lento ao enviar muitos arquivos pequenos

0

Muitas vezes eu tenho que transferir 4000 arquivos pequenos para um servidor remoto (cerca de 20 MB de dados), ao qual eu só tenho acesso FTP no momento. Esta operação leva 30 minutos, mas se eu fosse enviar um arquivo de 20 MB, levaria 2 segundos ou mais. Eu estou procurando uma alternativa que é mais rápida e que, por exemplo, fecha os arquivos 4000 em um arquivo, envia o arquivo zip e descompacta-lo na máquina remota. Existem servidores de transferência de arquivos que fazem isso?

Observe que eu tenho acesso à instalação do servidor alternativo na máquina remota, portanto, não estou limitado ao servidor FTP.

Muito obrigado antecipadamente Jeeji

    
por Sathya 20.10.2010 / 15:30

5 respostas

2

Você diz que só tem acesso ao FTP, mas diz que tem a capacidade de instalar um servidor alternativo. Você pode instalar e usar o rsync?

O rsync será executado sobre o ssh e foi projetado para lidar com o problema de "muitos pequenos arquivos", enviando-os como um fluxo contínuo de dados e não como partes distintas, cada uma com sua própria sobrecarga.

    
por 20.10.2010 / 16:50
1

Compacte-os e envie-os para o servidor e, em seguida, use uma tarefa agendada no lado do destinatário para encontrar os zips e descompactá-los localmente. Usando um observador do sistema de arquivos, você pode detectar quando um zip é criado, esperar até que o upload seja feito (ou seja, não esteja mais modificado) e, em seguida, descompactá-lo.

    
por 20.10.2010 / 15:36
1

Você deve dar uma olhada em weex ou usar o rsync sobre o ponto de montagem criado com CurlFtpFS

    
por 05.09.2011 / 12:09
0

Obrigado por suas sugestões. Pensei em resolver o problema sozinho, como você sugere, usando um monitor de sistema de arquivos que é acionado quando um arquivo zip é copiado. No entanto, isso requer alguma programação, já que eu preciso que ele seja executado como um serviço (para que ele comece sem nenhum usuário logado), e eu preciso que ele retorne algum status do resultado. Tudo isso é possível programar, mas seria muito mais fácil se houvesse uma solução pronta para uso.

Eu vou olhar para o rsync. Soa exatamente como o aplicativo que estou procurando.

    
por 21.10.2010 / 06:50
-1

Um script de shell simples no servidor final cuidará disso para você. Escolha uma pasta na qual cada arquivo zip que entra fica descompactado. Escreva um script para encontrar os arquivos zip e descompacte-os.

    
por 20.10.2010 / 15:36