Existe alguma chance de que meus dados sejam corrompidos silenciosamente com uma transferência de rede SMB robocopy?

Question

Estou configurando uma caixa NAS pela primeira vez. No momento, tenho a maioria dos meus dados armazenados em alguns discos rígidos locais, e pretendo transferir todos os dados para o meu NAS via ethernet, uma vez que o array RAID esteja configurado. Como isso tudo está acontecendo na rede, estou um pouco preocupado com a possibilidade de meus dados serem corrompidos silenciosamente durante a transferência. Pelo que entendi, os dados geralmente não são corrompidos sem aviso prévio em transferências locais porque uma soma de verificação é executada em algum momento pela unidade ou pelo sistema operacional. (Isso pode ser totalmente errado.) A mesma coisa acontece com o SMB ou cabe ao transferidor verificar a integridade de seus dados? E se isso não acontecer com o SMB, existe um protocolo que garanta a integridade dos dados? Eu sei que rsync pode checksum uma transferência, mas eu estou no Windows e eu já tenho uma configuração de robocopy que eu gosto. Meus dados estarão seguros ou preciso usar uma ferramenta de soma de verificação externa para garantir?

    

Answer 1

Leia seus documentos: todos têm uma opção de verificação nos dias de hoje.

Eu sugiro strongmente o rsync com verify. Você pode obter o rsync em qualquer sistema operacional nos dias de hoje, e tudo que você precisa é do cliente. Além disso, é improvável que seus dados sejam corrompidos durante a cópia pela camada de rede. Talvez suas unidades sejam lixo ou sua placa-mãe esteja morrendo, mas a rede é bastante robusta.

Além disso, se você montar as unidades, abra uma janela cmd (também conhecida como dos window) e tente xcopy / V para obter uma cópia verificada (use xcopy /? para ver todas as opções) - e certifique-se de que seus dados em várias unidades, ou você tem cópias espalhadas. Nunca confie em um único ponto de falha!

    

Answer 2

Corrupção de dados é uma probabilidade e as chances de isso acontecer aumentam com a quantidade de dados

Por favor note que xcopy / v não verifica a integridade dos dados

"Este processo de verificação consiste em confirmar que os dados gravados podem ser lidos (por exemplo, que os dados não foram gravados em um setor defeituoso no disco). Nenhuma comparação dos dados de origem e destino ocorre."

link

Atualmente, estou desenvolvendo um plano de migração de dados (dados pessoais) para 5Tb de um antigo storage array para meu novo servidor de armazenamento. Minha pesquisa, incompleta, mostrou que a Ethernet usa o CRC16 para verificar a integridade dos dados que foram transferidos.

Existe um link legal, mas não posso postar devido a pontos de reputação. basta colocar http na frente dele

doc.utwente.nl/64267/1/schiphorst.pdf

Assim que eu aprender as nuances do verificador de integridade de soma de verificação do arquivo MS, vou fazer um script de um hash MD5 da minha origem e compará-lo com o destino. Demorou fciv.exe cerca de 9 horas para gerar o banco de dados de hash em ~ 1Tb. Este é o método mais demorado, mas também o mais completo. Alguns dos meus dados não podem ser substituídos e são importantes para mim. As chances de não pegar um erro (corrupção silenciosa) são muito pequenas (como 10 ^ -16 eu acho, mas não consigo encontrar minha fonte para isso)

link