Backup de máquinas rodando linux e windows

Question

Eu tenho um problema com relação ao backup. Eu tenho uma rede (construída usando Wireless 150Mbps e Gigabit ethernet) consistindo em pelo menos 3 computadores (mais talvez 2 no remoto).

Eu tenho um plano para construir um servidor linux {pretty powerful} que funcione (basicamente):

• Centro de mídia (gravação / reprodução)
• servidor FTP para servir arquivos na minha rede
• Outros servidores para desenvolver aplicativos (MySQL, apache, ...)
• BACKUPS

Em relação ao aspecto BACKUPS, as máquinas a serem copiadas em backup estão em execução:

• 3 x Linux > = 2.6.30 (Gentoo e Archlinux)
• 1 x Windows XP 32 bits
• 3 x Windows 7 64 bits
• 1 x Windows 7 32 bits

O backup pode ser executado usando o compartilhamento de arquivo smb {não tenho muita sorte com ele atualmente} / rsync / svn / tar / ou qualquer outra coisa ou combinação que você possa sugerir. As funcionalidades são (em ordem de prioridade):

• Revisões (estilo SVN): um arquivo deve ser submetido a backup toda vez que é modificado (e múltiplas versões do mesmo arquivo podem existir no servidor, na verdade elas devem)
• Escalabilidade: se eu conectar uma unidade USB ao computador, também quero que seja feito o backup dos dados (bem ... Isso no Linux pode ser muito fácil, basta fazer backup de todos / media / exceto cds e dvds, mas para janelas?)
• Quase em tempo real (~ 5 minutos no máximo) backup de arquivos: perdi um relatório de látex e foi difícil reconstruí-lo do zero
• Não-Duplicação: por exemplo, se eu fizer backup do conteúdo do disco USB de dois computadores diferentes, não quero fazer o backup dos dados duas vezes (link simbólico em vez de cópia impressa no pior dos casos)
• Restauração manual / restauração automática: é o mesmo para mim (simplesmente não como descrito aqui abaixo)
• Eu não quero olhar em 1000 pastas para encontrar cada vez a mesma estrutura de diretório em que existem apenas 10 arquivos (prefiro olhar em um diretório para encontrar todos os arquivos mais recentes na estrutura do sistema de arquivos, como / media / BACKUPS / PC01 / home // ...)
• Talvez a capacidade de remover / excluir arquivos grandes dos backups
• Logs bons

Especificações do servidor:

• espaço de disco rígido de 2 x 2TB usado para backups (na verdade, 1 é usado para backups, o outro será rsynced do primeiro {eu prefiro não usar RAID 1}, apenas no caso de ...)
• 4 a 8 GB de RAM DDR3
• Pelo menos 4 núcleos (AMD Athalon II x4 640 a 3,0 GHz) - > upgradaeble para Bulldozer mais tarde

O que eu já havia considerado (pode considerar novamente se você apontar algumas características interessantes):

• Backuppc
• Rsync (problema: nenhum controle de versão de arquivo, o cliente do Windows pode estar com bugs)
• SVN (problema: 2 x sobrecarga - os arquivos são copiados duas vezes, portanto, 2 x uso de disco de arquivo)
• Backup de Amanda / Bacula (realmente não entendi o que eles podem e não podem fazer)

Eu conheço um pouco de programação BASH e Python no lado do servidor. Eu poderia eventualmente até criar uma interface web usando apache / php / MySQL. Tudo o que preciso saber são os melhores componentes para usar para conseguir isso (por exemplo, qual software de backup no servidor, qual protocolo, qual cliente, quais características implementar de acordo).

    

Answer 1

Você pode fazer muito bem com o Bacula / Amanda. Atendendo às suas necessidades:

Revisions (SVN-style): a file has to be backed up each time it gets modified (and multiples versions of the same file can exist on the server, in fact they must)
Bacula e Amanda pegam um arquivo toda vez que ele muda.

Scalability: if I attach an USB drive to the computer, I want it's data to be backed up as well (well... That on linux might be quite easy, simply backup all /media/ except cds and dvds, but for windows?)
Nada mal no Unix (apenas faça backup de tudo em / e ele pegará a mídia), mas provavelmente não é possível no Windows - Acredito que você precise especificar as unidades que deseja capturar porque o sistema de arquivos não é uma hierarquia de árvore sob uma raiz específica (há uma raiz para cada unidade). Dito isto, provavelmente NÃO é uma boa ideia (e se você anexar uma unidade completa de 1 TB a uma máquina que está sendo submetida a backup? Seus backups aumentaram).

Near real-time (~ 5 minutes at max) file backup: I lost a latex report and was hard to reconstruct it from scratch
Não está acontecendo - Você CAN especifica uma janela de backup de 5 minutos, mas seus logs serão preenchidos com tarefas sendo eliminadas porque já existe uma execução duplicada.
Você pode agendar backups noturnos, ou mesmo a cada 12 horas sem muita dificuldade.
(Mesmo o Time Machine da Apple só faz backups de hora em hora ... pense no maior arquivo que pode mudar e tem que ser empurrado pelo fio ...)

No-Duplication: for instance if I backup the USB's disk content from 2 different computers, I do not want the data to be backed up twice (symlink instead of hard copy in worst case)
Bacula não tem desduplicação neste momento. Não tenho certeza sobre Amanda.

Manual restore / automatic restore: it's the same for me (simply not like described here below) Restaurações são (e devem ser) um processo manual. Não tenho ideia de como seria uma "restauração automática" (o servidor de backup decide sozinho restaurar um arquivo?):

Maybe ability to remove / exclude large files from backups
Você pode incluir ou excluir partes específicas do sistema de arquivos (até a granularidade no nível do arquivo) em Bacula.

Good logs
Listas de jobs e resultados suportados por banco de dados, com a capacidade de gravar arquivos de log, e-mail, etc. em caso de erros.

O BackupPC também pode ser capaz de atingir esses requisitos (não está certo - não o usou) - outras soluções de backup comerciais também podem ser bem-sucedidas. Você também pode querer considerar tarsnap , embora eu não tenha certeza de como o suporte do Windows é.

    

Answer 2

Revisions (SVN-style): a file has to be backed up each time it gets modified (and multiples versions of the same file can exist on the server, in fact they must)

Quais são os arquivos em questão? Eles são arquivos de dados dos usuários ou arquivos de configuração do sistema? Para o primeiro, o Dropbox ( com referência ou sem ). A única outra alternativa que vejo é rolar seu próprio serviço como o Dropbox . Para o último, considere mudar para um sistema de gerenciamento de configuração como o Puppet, coloque os arquivos do sistema em um repositório controlado por versão de sua preferência e faça o backup do repositório da maneira que desejar.

Sistemas regulares de backup só pegam arquivos quando são executados (diariamente, várias vezes ao dia, etc.), não sempre que mudam.

Near real-time (~ 5 minutes at max) file backup: I lost a latex report and was hard to reconstruct it from scratch

Dropbox ou similar. Nenhuma outra opção que eu possa ver:

No-Duplication:forinstanceifIbackuptheUSB'sdiskcontentfrom2differentscomputers,Idonotwantthedatatobebackeduptwice(symlinkinsteadofhardcopyinworstcase)

Backuppcpodefazerdeduplicação.Amandanãopode,atéondeeusei.Masdependendodoquevocêestátentandoevitarduplicar,podehaveroutrocaminho.Seeufizbackupdetodososmeusnósdecomputaçãonotrabalho,porexemplo,euteriatoneladasdeduplicação.Maseunãoosreconheço-eupossoreconstruirumdozeroemumahoraoumaiscomumacombinaçãodosrecursosdeinstalaçãoautônomadoDebianeoPuppet.

Idonotwanttolookin1000folderstofindeachtimethesamedirectorystructureinwhichthereareonly10files(IprefertolookinONEdirectorytofindallthelatestfilesintheFileSystemstructure,like/media/BACKUPS/PC01/home//...)

Amanda,pelomenos,nãoéconstruídacomorsync.Elefarábackupdevolumes(partiçõesoupastas)regularmenteemarquivosdebackup.Vocêpodenavegarpelosbackupscomamrecovererestaurarosarquivosdesejados.Masosarquivosdosbackupsdecadavolumesãoarmazenadosemarquivosdedespejo,arquivostarousimilares.

Hámuitoespaçonasuaperguntaparamaisesclarecimentos.Asprincipaisperguntasquefaçosão:

1. Estebackupépararecuperaçãodedesastreouparafinsdearquivamentodelongoprazo?
2. Oquevocêestáfazendobackupeporquê?
3. Quantoesforçovocêestádispostoaireoquevocêpodeviversem?Seopadrãomínimodesucessofor"fazer backup de todas as alterações em todos os arquivos em todas as unidades de todos os sistemas operacionais, quase em tempo real, incluindo se eu conectar e desconectar unidades removíveis no Windows", você provavelmente ficará desapontado .