Qual é a maneira mais simples e rápida de transferir arquivos grandes através de uma rede Windows?

Question

Eu tenho uma máquina com o Windows Server 2000 executando o MS SQL Server que armazena mais de 20 GB de dados. O banco de dados é copiado todos os dias para o segundo disco rígido. Eu quero transferir esses arquivos de backup para outro computador para construir outro servidor de teste e para a prática de recuperação. (o backup nunca foi restaurado por quase 5 anos. Não conte ao meu chefe sobre isso!)

Tenho dificuldade em transferir esse arquivo enorme pela rede. Eu tentei cópia de rede simples, download do apache e ftp. Qualquer método que eu tentei acaba falhando quando a quantidade de dados transferidos chega a 2GB. A última vez que eu transferi com sucesso o arquivo, foi através de um disco rígido externo conectado ao USB. Mas eu quero realizar essa tarefa rotineira e preferencialmente de forma automática.

Gostaria de saber qual é a abordagem mais pragmática para essa situação?

    

Answer 1

Uma falha previsível em 2GB parece que o sistema de arquivos alvo é o culpado ... Ambos estão no NTFS? Você está navegando por qualquer compressão (zip usado para falhar em limites de 2 gb) ((o apache está fazendo compressão))

Eu copiei muitos arquivos acima de 20Gb usando robocopy (como outros já mencionaram), mas eu evitava usar o switch / MIR até ter certeza de que você conseguiu a cópia fazendo o que você quer - já que ela irá deletar arquivos assim como copie-os.

O SMB sofre de um pacote em um limite de tempo, portanto, é mais lento copiar arquivos - você tem a opção de copiar usando push ou pull. Pessoalmente, eu prefiro o método push (a cópia é iniciada pela fonte).

    

Answer 2

A ferramenta eseutil do MS Exchange é um excelente utilitário para copiar arquivos grandes rapidamente através de uma rede:

eseutil / y source_file / d dest_file.

    

Answer 3

Eu recomendo usar o utilitário gratuito RichCopy . Ele é multithread e pode pausar e retomar as operações de cópia de arquivos. Eu tive muita sorte em usá-lo para transferir arquivos entre servidores.

My three top tips for using RichCopy

1. If you are copying one or a few big files, set ‘File Copy’ attribute to more than '1’. It uses up resources but copies big files down quicker

2. If you are copying lots of files then set the ‘Thread number’ attributes to 10-10-1. This will copy multiple files quicker

3. If you are copying over a dodgy connection. You can re run the download and it will go and find the files it didn't manage to get the first time.

link

    

Answer 4

No que diz respeito aos utilitários de cópia de arquivos, o TeraCopy é um bom baseado em GUI (não linha de comando) que pode Filtre muitos arquivos, suporte a pausa e retomada, pode alterar dinamicamente o tamanho do buffer para otimizar a velocidade e, opcionalmente, substituir a cópia / movimentação padrão do Windows Explorer pela sua própria.

    

Answer 5

Robocopy com a opção / MIR é muito útil para backups rápidos e sujos entre máquinas. Você pode encontrar o robocopy no Kit de Recursos do Windows Server 200X

O MIR irá espelhar o conteúdo de um diretório para outro servidor. Só copiará arquivos que foram alterados.

    

Answer 6

A solução mais pragmática para shuffles repetidos de arquivos grandes de backup do SQL Server é usar um produto de compactação de backup de terceiros ou a compactação de backup integrada do SQL Server 2008 Enterprise Edition.

Existem vários por aí de diferentes fornecedores. Eu trabalho para a Quest Software, os criadores do LiteSpeed, mas não estou aqui para vender nada. Você quer verificar todos os produtos lá fora e decidir o que é melhor para suas necessidades. Aqui está uma postagem recente sobre o LiteSpeed especificamente, mas os mesmos conceitos se aplicam a outros produtos também:

link

    

Answer 7

Você está copiando o arquivo em uma LAN ou através de alguma conexão WAN como o ADSL? Eu suponho que é uma WAN porque 20GB não é um arquivo grande para copiar em uma LAN. Eu copio muitos desses arquivos todos os dias.

Se for uma conexão WAN, a maneira que eu faço é usar a versão Cygwin do rsync.

JR

    

Answer 8

As transferências de rede falharam em torno da marca de 2 GB - acabou sendo uma NIC com defeito.

    

Answer 9

Eu uso o syncback ( link ) diariamente para transferir arquivos várias vezes maiores que os seus. Nunca tive um problema com isso.

    

Answer 10

É um pouco tarde, mas eu recomendaria uma opção de backup e restauração de terceiros. Nós usamos o Red Gate SQL Backup ( www.red-gate.com ), ele tem opções de compressão e localização alternativa na GUI. Eu ganho compressões com uma média de 80% - então você só transfere 20% do tamanho real do banco de dados. Ele também suporta criptografia para que possa ser usado em uma WAN sem preocupações com interceptação.

É totalmente escalável para funcionar automaticamente em um ciclo de sua escolha.

A GUI também permite configurar e administrar o envio de logs.

Versão de avaliação gratuita disponível no acima.

    

Answer 11

Tente o Binfer. Uma vez eu enviei 44 GB de dados com facilidade. Apenas certifique-se de que o computador receptor tenha espaço em disco. O site deles é link

    

Answer 12

Eu não tenho experiência com um arquivo tão grande, mas você poderia usar robocopy ou mesmo xcopy com a opção / Z que afirma ser reinicializável. Parece que isso é destinado a cópias de arquivos grandes em que a rede não é confiável.

    

Answer 13

Eu usei o robocopy com mais de 1gb e não tive problemas. ss64.com tem uma boa explicação dos switches. Eu não posso postar o link embora: - (

    

Answer 14

Evil answer..

Use o Netcat . Um tutorial unix orientado para a transferência de arquivos pode ser encontrado aqui . Você pode acelerar ainda mais:

1. Comprima no lado do remetente e descomprima no lado de destino. (chuck windows equivalente do gzip no meio das linhas de comando).
2. Opte por enviar dados via udp em vez de por tcp (ei cara, quem se importa com integridade de dados ?? !!)

Brincadeiras à parte, o netcat é provavelmente a maneira mais rápida de transferir arquivos grandes em uma LAN. Como nenhuma soma de verificação é feita, você pode desejar fazer uma soma MD5 do arquivo antes de enviá-lo e compará-lo à soma MD5 do arquivo recebido.

Eu usei muito o netcat dessa forma, nunca vi ele falhar, nunca vi ele falhar no máximo da rede.

    

Answer 15

Pode valer a pena dividir o arquivo em partes menores como uma solução de curto prazo até que você possa identificar o problema. Nós tivemos problemas parecidos com isso no passado, e o FTP sempre funcionou para nós

    

Answer 16

Na maioria das vezes, copio muitos dados para os quais estou migrando um compartilhamento de servidor aos quais os usuários estão conectados, por isso geralmente uso o Replistor, www.emc.com/products/detail/software/replistor.htm. Ele manterá os diretórios de origem e de destino sincronizados durante a cópia e depois.

    

Answer 17

Se esses arquivos SQL .bak estiverem sendo copiados, sugiro que você faça um dos procedimentos a seguir para reduzir os arquivos antes de copiá-los:

• Reduza o banco de dados e trunque o log antes de executar o backup. OU
• Compacte o arquivo .bak antes de copiar. Os arquivos .bak do SQL são comprimidos se você não estiver usando o espaço totalmente alocado nos arquivos de dados e de log.

Pode eliminar a necessidade de um método alternativo para copiar arquivos grandes.

    

Answer 18

Eu não acho que encontrar algo para transferir mais rápido seja o seu problema, verifique novamente se o seu sistema de arquivos de destino NÃO é FAT, como outros já disseram. Além disso, certifique-se de que as NICs dos dois lados tenham drivers atualizados e que não estejam agindo de forma esquisita.

Com isso dito, você está movendo muitos arquivos pequenos ou apenas alguns grandes? Eu vi problemas no controlador RAID ao tentar mover milhões de arquivos minúsculos.

Não acho que você tenha um problema ao automatizar isso depois de descobrir o que está causando a falha. Pode ser útil listar mais detalhes sobre seu hardware e quaisquer erros relevantes que você possa ver no visualizador de eventos.

    

Answer 19

Você já tentou usar uma conexão eSATA com um disco rígido externo? As conexões são rápidas (3 gigabit!) E devem ser capazes de transferir esse arquivo em pouco tempo!

Qual é a velocidade da sua placa de rede no servidor, 10/100 ou 10/100/1000? Como é a largura de banda e o switch da rede do servidor quando você está lidando com o arquivo? Como é a largura de banda da rede do local de destino (servidor?) Ao copiar? Você já tentou juntar 2 NICs juntas? Os drivers da placa de rede estão atualizados? O BIOS está atualizado?

Existem muitas coisas que podem ser o problema das transferências de arquivos. Certificar-se de que os drivers de hardware e o BIOS estão atualizados pode realmente fazer a diferença.

-JFV

    

Answer 20

A maneira mais simples e rápida: discos USB externos e caminhada.

Meu jeito: use o rsync. Se a cópia falhar, basta reiniciá-la e ela vai continuar de onde foi.

    

Answer 21

Eu recomendo o ExtremeCopy para a sua tarefa de cópia, copie os arquivos extremamente rápido na minha experiência, vá para o seu site e saiba mais www.easersoft.com

    

Answer 22

A outra coisa a verificar seria ver se o serviço de cotas está configurado no servidor de destino; Acho que usa 2 GB como a cota padrão por usuário.

    

Answer 23

Você pode usar o Binfer para cópia de computador para computador. É independente do sistema operacional e extremamente rápido. Também não tem limite de 2 GB. link