É provável que eu encontre perda de dados ao usar o envio do ZFS para copiar um pool para um servidor sem memória ECC?

2

Eu tenho um servidor de arquivos OmniOS com um array raidz2 do ZFS que quero fazer backup em outra máquina através de gigabit ethernet. A outra máquina é um sistema Linux (Ubuntu 12.04) com RAM não-ecc conectada a uma pilha de discos rígidos externos USB 3.0. Desejo usar o ZFS nos discos rígidos externos da máquina de backup e enviar / receber ZFS para fazer backup dos dados. A integridade dos dados e a prevenção da corrupção silenciosa de arquivos são as principais prioridades. Idealmente, eu gostaria de montar os discos rígidos externos da máquina linux no servidor OmniOS como se fossem discos locais (ou seja, acesso em nível de bloco a discos rígidos reais) para que toda a soma de verificação do zfs seja feita no OmniOS máquina, porque tem 8 núcleos de CPU e ECC RAM, enquanto a máquina Linux é um dual core "desktop" (HTPC) com RAM não-ECC.

Isso pode ser feito usando o iSCSI? Isso pode ser feito usando o ATA over Ethernet? (os discos rígidos externos aparecem no linux como discos SATA, por exemplo: / dev / sdb, / dev / sdc, / dev / sdd, etc)

Se eu fosse usar o ZFS no Linux na máquina de backup, qual seria o tamanho do risco com meus dados de backup em relação à corrupção silenciosa?

Obrigado por toda e qualquer entrada.

Informações básicas:

Estou no meio da construção de um servidor "tudo" virtualizado e agora estou tentando criar uma solução de backup melhor. O servidor executará o OmniOS (um derivativo do opensolaris) como uma SAN virtualizada integrada, que manterá todos os meus dados em uma matriz RAIDz2 (versão ZFS de RAID6, duas redundâncias de disco). O servidor também executará várias outras coisas, como uma pilha LAMP e um Backend MythTV para gravar programas de TV de um rack de caixas de TV por cabo, etc. É principalmente um servidor de mídia repleto de músicas, fotos, filmes e gravações de programas de TV. / p>

Estou muito preocupado com a integridade dos dados. Dada a quantidade de dados que tenho e a quantidade que é manipulada (transcodificação para streaming na Web, streaming interno de filmes para muitos sistemas de exibição de mídia local, constantes adições de gigabytes de fotos, etc), a corrupção silenciosa é altamente provável. É por isso que estou executando o ZFS, a RAM ECC, etc.

Tenho backups offsite (e BluRay) de tudo que é de missão crítica (meu trabalho, minhas memórias, etc.), mas preciso implementar um backup no local para algumas das mídias (não tenho conexão de internet suficiente largura de banda para enviar 80 Gigabytes de programas de TV HD para um servidor remoto todos os dias).

Eu tenho um HTPC rodando Ubuntu Linux com MythTv frontend e XBMC (eu estava indeciso) a cerca de 200 metros da sala do servidor principal, em outro andar do prédio. Ele é conectado de volta à sala de servidores com Gigabit Ethernet (ele passa pelo switch de rede naquele andar, portanto, um cabo Ethernet de 600 pés não é um problema). Tem uma coleção de discos rígidos externos de 2 TB (WD MyBook Essentials, se você estiver curioso) conectados via USB 3.0 escondidos em uma unidade de parede trancada. Eu gostaria de fazer backup de tudo para esses discos rígidos.

    
por Jay 23.09.2013 / 17:52

1 resposta

2

how large of a risk am I taking with my backed up data in relation to silent corruption?

O ZFS leva a integridade dos dados muito a sério e minha experiência pessoal com o envio / recebimento do ZFS é robusta. Sugiro que você implemente seu envio / recebimento da maneira mais direta possível e use depuração para garantir que qualquer dano seja detectado.

Eu uso regularmente o envio / recebimento do ZFS para fazer o backup de um RAIDZ em unidades externas USB de 1 TB e 2,5 ".

Apenas uma vez encontrei um erro (detectado por scrubbing) no disco de backup. O scrub foi feito um tempo significativo após o envio / recebimento, então não posso ter certeza se o erro foi introduzido durante a transferência ou ocorreu algum tempo depois que os dados já estavam no disco, mas eu suspeito strongmente que o último .

O disco de backup era um único disco sem RAIDZ, snapshots ou várias cópias, o ZFS não pôde reparar o único bloco corrompido, mas era trivial corrigir manualmente copiando o arquivo original.

    
por 24.09.2013 / 02:36