Como usar o envio / recebimento do btrfs para transmitir instantâneos de backup através de uma conexão de rede lenta e não confiável?

11

Gostaria de usar o recurso de envio / recebimento do btrfs para transmitir instantâneos de backup em um nível bastante lento (semente inicial de cerca de 50-100 GB, largura de banda ~ ~ 1-2MBit / s) e não confiável (interrupção forçada diária em ambas as extremidades ) conexão.

Eu vejo os seguintes requisitos:

  • transferência criptografada (geralmente obtida usando um túnel SSH)
  • robustez para conexões interrompidas

Parece que o ZFS pode retomar as transferências interrompidas , de forma semelhante ao modo como o rsync faz. Isso também se aplica ao BTRFS? A página de envio / recebimento da wiki não é útil em relação a transferências interrompidas. Se o btrfs reiniciasse as transferências interrompidas, tudo o que eu precisaria fazer é usar um túnel SSH e continuar se interrompido.

Se não, eu teria que usar algum buffer intermediário para garantir que a conexão btrfs sobreviva a interrupções, ou colocar os dois servidores próximos uns dos outros para a propagação (o que será um problema em relação aos arquivos adicionados que se destacam as capacidades de transmissão diária e envio de instantâneos).

O que terei que considerar para transmitir as sementes e os instantâneos?

    
por Jens Erat 22.04.2014 / 20:40

3 respostas

7

Estou usando o "btrfs send" para backups por um tempo. Não não manipula a retomada de transferências quebradas. Escrevi um utilitário que faz retomar as transferências e sincroniza automaticamente os instantâneos no sistema de arquivos local btrfs para o Amazon S3. Você pode experimentá-lo para ver se isso ajuda, e eu adoraria qualquer feedback! É tanto no GitHub ( link ) quanto no PyPi ( link ).

    
por 15.09.2014 / 20:30
4

"enviar" para um arquivo ou canal. "receber" com o arquivo ou pipe na outra extremidade. Com uma conexão questionável, você provavelmente faria melhor com arquivos e um transporte como o rsync.

    
por 02.05.2014 / 22:20
1

Além do currículo do S3 de buttersink , btrbk suporta:

Resume of backups (if backup target was not reachable for a while)

Editar: desde então, aprendi que a transferência de instantâneos individuais não é retomada com btrbk , no entanto, ele lidará com o destino de backup ficando offline (reiniciando a transferência do instantâneo interrompido).

    
por 25.02.2017 / 10:05