Configuração para backup de vários discos rígidos simultaneamente no linux

Question

Estou criando uma estação de backup.

Eu gostaria de poder obter uma imagem de um HDD contendo sua tabela de partição e toda a sua partição (não uma partição no momento) para que a restauração seja fácil de fazer. Eu gostaria de fazer isso com HDD diferente simultaneamente, e cada um será USB.

Eu tentei partimage, mas parece fazer backup de uma partição no momento. Eu tentei usar o clonezilla, mas parece que preciso de uma máquina cliente e não é isso que eu preciso.

Uma solução Linux será apreciada, mas eu poderia usá-la na máquina virtual, se necessário, mesmo que eu queira que seja um processo automatizado, tanto quanto possível.

Ele deve suportar o NTFS porque a maioria dos backups que eu vou usar usará o NTFS.

Nota:
O clonezilla parece interessante porque, como eu entendi, o cliente constrói um pacote e o envia para o servidor pela rede. Eu gostaria de construir o mesmo pacote facilmente restaurável de um HDD conectado via USB, sem qualquer envolvimento extra da máquina ou da rede.

    

Answer 1

Ecoando a preocupação do wombie, eu não acho que você queira que o servidor tente fazer grandes trabalhos de cópia de dados em paralelo.

Se você está tentando copiar várias partições, o que o wombie prevê faria com que os cabeçotes discam e desacelerem, ou tentar copiar vários discos em um barramento usb, no qual cada fluxo de dados pode causar interrupções que retardariam uns aos outros, a menos que você esteja lidando com uma tecnologia de transmissão especificamente projetada para lidar com alto rendimento de múltiplos clientes, você vai desacelerar as coisas se você tentar fazê-las em paralelo.

Por exemplo, tentando colocar um único arquivo em 10BaseT Ethernet, eu poderia obter mais de 1 MByte / seg (mais de 8Mbit / seg) de taxa de transferência, mas se eu tentasse ftp dois arquivos de máquinas diferentes, mesmo para o mesmo servidor, a taxa de transferência cairia para cerca de 150 KBytes / seg / por transferência (ou seja, cerca de 300 KBytes / seg, 2.4MBit / seg). (Isto é da memória, e pode ter levado 3 estações de transmissão para fazer com que o throughput 10BaseT caísse de ~ 90% para ~ 30%. Ainda assim, adicionar uma segunda estação diminuiu a eficiência geral, devido a colisões.)

Além disso, é um catch-22: os protocolos que podem lidar normalmente com fluxos de alta taxa de multiplexação geralmente apresentam alta sobrecarga. Exemplos clássicos de protocolos de rede que manipulam graciosamente fluxos de alta taxa de multiplexação: Token-Ring, FDDI, ATM. Por exemplo, o ATM introduz um mínimo de 10% de sobrecarga (dos 53 bytes de uma célula, 5 são de cabeçalho) para a transmissão.

Se você usa dd, partimage ou clonezilla, sugiro:

1. escreva um script sequencial para verificar se há um disco para copiar
2. copia um disco de cada vez
3. loop

Então, quando você adicionar um disco à cadeia, ele será copiado. Como alguns clientes bittorrent que periodicamente checam um torrent em alguma pasta e depois processam o torrent automaticamente.

Eu também sugiro não usar USB, se você puder, ou pelo menos ter várias placas USB para que cada disco possa ter seu próprio barramento USB.

    

Answer 2

Com relação ao clonezilla, presumivelmente, o cliente e o servidor podem residir na mesma máquina. Instale o servidor, talvez testando com uma máquina separada e, em seguida, instale o cliente e faça com que ele se conecte ao host local ou a um IP atribuído do servidor.

    

Answer 3

Você não pode simplesmente gerar várias cópias de dd ?

    

Answer 4

Não, você não quer ser capaz de fazer isso. Ler uma partição de cada vez é a coisa certa a fazer, porque os cabeçotes de disco podem simplesmente transmitir dados do disco. Se você tentar ler várias partições no mesmo disco simultaneamente, a unidade gastará metade do seu tempo entre diferentes partes do disco, e você não chegará nem perto da mesma velocidade de transferência de dados, o que significa que seus backups levarão mais tempo.

Se você deseja obter uma única imagem de todo o disco rígido, incluindo a tabela de partições, use dd para ler a imagem inteira em um arquivo (execute a saída em gzip para evitar o desperdício de disco espaço armazenando o espaço vazio no disco).