Como transferir arquivos grandes por FTP ou de outras maneiras?

Question

Temos 18 GB de arquivos no servidor para o nosso site. Eu tentei fazer backups usando assistentes de backup do cpanel. Desde então, os arquivos estão crescendo, o assistente de backup do cpanel agora está criando arquivos zip corrompidos. Então achei do Google que o Filezilla seria o melhor para transferir arquivos grandes. Mas, quando o download foi concluído, não consegui encontrar alguns diretórios. Eu lembro que eu enfileirei todos os arquivos do root (CTRL + A) e comecei a processar. Um grande zip falhou e eu recomeço novamente.

Qual poderia ser o problema para nós? Quais são as outras soluções que podemos seguir? Os backups do Cpanel estão criando backups corrompidos. Nossa velocidade de download (500Kb para 1.5Mb). Seria bom saber por que corrompemos os backups e por que fracassamos e quais são as outras boas soluções. Não tenho certeza se devo entrar em contato com a hospedagem.

Estamos usando uma hospedagem linux compartilhada.

    

Answer 1

Portanto, há duas perguntas que precisam ser consideradas:

1) Dado o tamanho do meu site, como posso gerar backups válidos?

2) Dados esses grandes backups, como faço para obtê-lo do meu servidor para que ele funcione como um backup.

A primeira pergunta pode ser resolvida fazendo um backup sem o homedir e então fazendo um backup homedir. O homedir é provavelmente a maior parte do espaço em disco e muda muito menos freqüentemente. O backup do cpanel terá bancos de dados e e-mail importantes para manter a corrente.

A segunda pergunta é como você tira isso do servidor. Eu ficaria longe do FTP e usaria o Rsync. O Rsync pode retomar um download concluído pela metade e deve estar disponível se você tiver acesso de login SSH.

    

Answer 2

Você deve

• Verifique se você está copiando de um servidor / máquina que pode hospedar arquivos grandes (ou seja, sem as limitações comuns de 4 gb (ou às vezes menores) de alguns sistemas de arquivos)

• Garanta que os dois lados usem comandos capazes de lidar com esses arquivos grandes (alguns tipos de tar ou gzip ou zip, etc. são limitados no tamanho do arquivo)

• Se você quiser ter algum tipo de "cópia remota" de arquivos grandes, e esses arquivos enormes não mudam muito (ou eles estão apenas crescendo quando algo "é anexado" novas informações no final, por exemplo: arquivos de log): você realmente deve usar rsync para fazer a cópia. Aqui, novamente, dependendo do SO em ambos os lados, certifique-se de usar a versão mais recente possível e certifique-se de entender seus parâmetros (às vezes complicados e "perigosos" ... uma simples opção --delete pode acabar com diretórios inteiros ou final, se não for usado corretamente!). rsync tem a vantagem de lance que primeiro vê o que mudou no (s) arquivo (s) que você tenta copiar, e envia somente as partes alteradas! Se você executar o rsync , ele funcionará melhor nos arquivos originais em vez de em um arquivo compactado deles: o rsync poderá ver mais diferenças e similitudes nos originais do que em um arquivo compactado . E o rsync também pode usar compactação, o que pode ser bom se for texto ou facilmente compactado, e 'ruim' se já for um arquivo muito compactado, como um arquivo .gz, por exemplo.

Answer 3

Obrigado a todos que responderam à pergunta. Esta é uma resposta tardia e depois de muito tempo eu percebi que deveria compartilhar como resolvi nosso problema.

Mais tarde, decidimos usar o rsync e ele está funcionando muito bem para nós. Para backups corrompidos, consegui chegar a uma outra condição em que descompactar os backups funciona bem em sistemas operacionais linux. Eles são apenas corrompidos no computador windows. Então, com base nos erros que surgiram no software descompactar e na experiência com base no sistema operacional, finalmente descobri que o script gera arquivos e pastas com diferenciação de maiúsculas no linux que são considerados duplicados no sistema Windows eo software descompactar continua alertando sobre as duplicatas. p>

Olivier Dulac me perguntou sobre o sistema operacional onde os arquivos estão sendo copiados de / para. Ele está muito certo sobre a diferença do sistema operacional, que foi o problema para mim. (Eu sou incapaz de responder ao seu comentário por alguns motivos)