projetos ou pacotes para emular uma unidade de fita com um back-end compatível com Amazon S3 ou OpenStack Swift?

Question

Eu tenho alguns dados que estão sendo copiados para backup via bacula, e em algum momento em breve eu precisarei migrar para um armazenamento sem fita.

O Bacula suporta arquivamento em disco, mas me ocorreu que se houvesse alguma interface de biblioteca de fitas virtual para o S3 ou OpenStack Swift, ou algum outro serviço de armazenamento de objeto, eu poderia simplesmente trocar as configurações e manter a configurações existentes de arquivamento, envelhecimento e agendamento sem problemas.

Eu tinha um google, e posso ver que a Amanda (usando uma API de dispositivos) e vários produtos de backup têm back-ends de armazenamento de objeto do S3, mas não vejo nenhum projeto que substituísse usando * Semântica da interface do dispositivo nix / dev / st0.

Isso pode ser porque eu não tenho idéia, e que a idéia é absurda e impossível, etc, mas eu estaria interessado em saber se eu perdi alguma coisa óbvia antes de me aprofundar em alguma substituição hackeada.

Portanto, esclareça as opções da plataforma - ela não está hospedada na AWS e atualmente não há EBS disponível e a meta é um armazenamento de objetos openStack Swift compatível com S3 interno, portanto os custos de largura de banda e armazenamento são internos.

    

Answer 1

Esta é mais do que uma abordagem questionável para qualquer coisa que alguém possa considerar um backup, mas você deve ser capaz de experimentá-lo. A primeira coisa que você precisa é de qualquer coisa que apresente uma interface de bloco no topo do S3. Algo como um servidor NBD com um backend do S3 - dê uma olhada em este .

Depois de trabalhar, você precisa de algo que apresente um arquivo em cima de um dispositivo de bloco e ofereça um HBA / HBA virtual de SCSI ao seu sistema com um trocador e uma unidade de fita. Dê uma olhada neste projeto aqui .

Consulte o projeto S3NBD (primeiro link) para obter mais explicações sobre o motivo pelo qual executar o backup e a recuperação com o S3 pode ser uma má ideia (com o esquema atual de preços do S3).

    

Answer 2

A coisa ruim sobre emular uma fita no EC2 é que, para emular uma fita, você deve emular todos os aspectos. Isso inclui a ideia de que, quando você carrega uma fita e não está planejando escrever no início, deve procurar em todos esses dados.

Eu acredito que um curso de ação mais simples seria a interface dos volumes do EBS como dispositivos de bloco em Bacula.

O que pode ser um curso ainda mais simples seria usar Media Type = Fifo e vinculá-lo a um programa que grava no EBS. Para restaurações, você terá que trabalhar com outra coisa, mas os dados serão movidos.

    

Answer 3

Você pode tentar o MHVTL emular uma biblioteca de fitas virtuais e usar arquivos / diretórios como armazenamento. Você poderia S3FS ou outro mecanismo para emular arquivos / diretórios em que MHVTL poderia se sentar. Você também pode modificar o MHTL para mover apenas seus arquivos de / para o S3 / Swift como destino na montagem / desmontagem. Parece que / dev / tapedevice e um media changer scsi, portanto, os produtos de backup podem funcionar inalterados. Não sei sobre o suporte.