como verificar TBs de dados copiados da nuvem [closed]

Question

Primeiro post, espero que ajude alguém a armazenar grandes quantidades de dados on-line.

Eu uso um serviço de nuvem, o Bitcasa (NÃO recomendado) para servir minha biblioteca de mídia e para backup pessoal. Eles recentemente mudaram radicalmente seu modelo de negócios e deram um aviso de 3 semanas de aumento de preço de 12 vezes para uma assinatura de um ano em clientes beta, como eu, que têm ajudado clientes pagantes por vários anos enquanto fazem iteração de seus produtos. . Tudo isso para dizer que eu recomendo ficar longe deles. Eu tive, nunca vou confiar neles após a quebra de contrato, por isso estou com pressa de tentar baixar e verificar mais de 7 TB de dados.

Tendo já baixado 7 TB do Bitcasa, parece que alguns estão corrompidos. Não está claro se os dados originais foram comprometidos na transferência original ou em seus servidores de banco de dados, ou ocorreram erros no download. Os tribunais pediram uma prorrogação para o dia 20 de novembro para os clientes dos dados do DL, no entanto, não tenho muito tempo até os dados precisarem ser atualizados antes da alteração do serviço do Bitcasa. A maioria dos dados é DLed, mas não tenho confiança na transferência.

Em suma, qual é a maneira mais rápida e confiável de verificar TBs de dados on-line em relação à minha cópia DLed em um ambiente Mac Yosemite? Meu ISP tem, na melhor das hipóteses, uma taxa de transferência de 100/10. Eu não tenho medo da linha de comando. A contagem de arquivos é provável nos 100s de milhares, mistura de grandes e pequenas, .txt para mídia de tamanho GB. Dadas as restrições de tempo, a verificação deve ser multithreaded, se possível. Qualquer sugestão bem vinda!

Felicidades!

    

Answer 1

Se a linha de comando for sua amiga, então rsync poderá ajudá-lo. Apenas não exclua os 7 TB que você já copiou. Faça um backup dele, se possível. Ele usa algo chamado codificação delta para permitir que apenas transfira arquivos ou parte de arquivos diferentes. Dessa forma, você pode ter certeza de que obteve o que estava em seus servidores.

Eu mesmo não sou usuário do Bitcasa e não posso testá-lo todo o processo, mas eles podem ser enviados para suporte rsync.

Você precisará usar os dados que já possui como destino para que isso funcione para você. A sintaxe geral para usar o rsync é. A opção --progress dá uma ideia de como está indo.

rsync --progress source_at_bitcasa your_7TB_copy

Você sempre pode usar apenas uma subpasta menor para testá-la antes de executá-la em todos os dados. Você provavelmente precisará adicionar mais algumas opções, dependendo da sua configuração.

Eu sei que geralmente é uma boa prática trabalhar algumas respostas um pouco mais, mas há muitos recursos interessantes em rsync on-line. E eu não quero mais gastar seu tempo com a postagem inicial.