Alternativas de transferência de arquivos

Question

Agora estamos usando o produto empresarial em Aspera . Nós temos uma licença que cobre apenas 10 milhões de throughput por conexão. Estamos pensando em migrar para fora da Aspera, já que os custos de licenciamento deles são um assassino para chegar a 100 megabytes. Eu tenho olhado em volta e não consigo encontrar nenhuma alternativa. Agora nós transferimos algo ao longo das linhas de 500GB por dia dentro e fora. Eu prefiro algo do campo FOSS, mas não sou contra comprar algo baseado no Windows.

Para fornecer algumas informações sobre nossa configuração de hardware.

(2) Blade Servers BL495c - 2 Opterons de 6 núcleos, 128 GB de RAM, o armazenamento é feito em matrizes HP MSA2300 FC, cerca de 10 TB de dados no total. Tudo está sendo executado no Hyper-V Server 2008r2.

Então, com tudo isso, a questão é:

Que software / métodos você usa para fornecer upload / downloads de arquivos de alta velocidade para seus clientes?

Editar: estou lidando principalmente com usuários finais não técnicos que vivem no mundo do Windows. Então, eu gostaria de algo com um navegador baseado em um front end de usuário simplista. O back end pode ser tão técnico quanto necessário. Eu acho que os únicos requisitos reais que eu tenho são capacidade de desempenho de aproximadamente 100megabit transferências de arquivos, cotas de usuários e, possivelmente, estrangulamento de conexão.

    

Answer 1

Você já considerou outras soluções comerciais de transferência acelerada de arquivos?

Dê uma olhada no FileCatalyst www.filecatalyst.com que lhe dará a mesma vantagem de velocidade a um custo mais acessível.

Você também pode ver a Signiant na frente comercial.

No lado de código aberto, há também algumas opções. UDT, Tsunami, GridFTP são todas as opções possíveis. Também dê uma olhada em UFTP também. Eu acho que o problema com essas soluções será o fato de você estar lidando com usuários finais não técnicos. Talvez com alguns scripts e um desses produtos sendo executados em segundo plano, você possa criar soluções de trabalho.

No meu blog, eu compilei uma comparação de todos os produtos de transferência de arquivos de código aberto e tentei identificar qual deles funcionaria melhor em determinadas situações (ex: alta largura de banda, cenário de alta latência, etc.)

Este é o link para o artigo do blog: link

John

note: Este usuário é um funcionário do FileCatalyst.

    

Answer 2

Usamos SFTP / SCP ou rsync-over-SSH, mas isso depende do cliente ter o software cliente / servidor relevante no final.

Ele vai tão rápido quanto os links permitirão, com as transferências rsync interrompidas reinicializáveis, e tudo isso é perfeitamente roteirizado (supondo que você conheça seu script bash / equivalente e ferramentas relacionadas) para que as coisas possam ser completamente automatizadas. Você desejará alugar um servidor em algum lugar para hospedar os arquivos em vez de transferi-los diretamente para o cliente, a menos que tenha um canal de 100 Mbits localmente, mas isso não será caro, a menos que você precise de SLAs significativos (lembre-se de usar sistemas de arquivos criptografados e outras precauções, se a informação for sensível, ou claro).

Isso é um pouco de uma solução DIY embora. Se você está procurando algo que se apresente com um rosto mais amistoso aos seus clientes (algo parecido com o dropbox, por exemplo), então você precisará adicionar alguns detalhes sobre o tipo de coisa que você está procurando para sua pergunta para obter respostas relevantes. . Lembre-se de que a maior parte do uso não terá usado o Aspera, portanto, você não estará familiarizado com ele, e mesmo aqueles que o utilizam não saberão quais recursos são particularmente úteis (e que não são de seu interesse) se você não usa liste-os.

Editar:

Esta ferramenta foi recentemente no HN ( aqui ), que parece valer a pena investigar se você tem uma conexão de saída gorda. Obviamente, você terá que olhar para o lado da segurança das coisas, como manter seus clientes separados uns dos outros por algum meio (como parece ser voltado para sincronizar arquivos pessoais entre locais, em vez de compartilhá-los com os clientes). Advertência: Ainda não experimentei a mim mesmo.

    

Answer 3

Algo do HPC usado quando os conjuntos de dados estão se aproximando do tamanho do PB e seus canais são pesados, mas têm RTTs elevados: o GridFTP - fluxos TCP paralelos podem ser distribuídos em vários servidores. Talvez um pouco exagerado para o seu aplicativo, mas não será mais rápido que o GridFTP. Dependendo de suas políticas de segurança, pode ser necessária uma PKI X509 completa.

    

Answer 4

como john mention, o filecatalyst é uma opção. Por favor, corrija-me se eu estiver errado, mas a partir de minha leitura, acredito que o filecatalyst não tem o controle do consumo de largura de banda. consumirá toda a largura de banda disponível. no entanto, o catalisador de arquivo fornece a capacidade de agendar "fora do pico" como alternativa ao gerenciamento de largura de banda.

outras soluções são o código-fonte aberto UDT ou Tsunami sobre o qual o filecatalyst é construído.

martin