rsync: samba vs ftp para backup

Question

Eu preciso fazer backup de aproximadamente 0,5 TB de arquivos (cerca de 600.000 deles) de uma máquina Windows Server 2003 para uma máquina CentOS 6.4 em uma rede de 100MB e atualizá-los uma vez por noite.

O script de backup seria hospedado no CentOS. O servidor SlimFTPd + o cliente FTP padrão do CentOS, ou o compartilhamento de arquivos do Windows AD + o cliente Samba 4 serão mais rápidos para sincronizar o backup via rsync? Ou seja uma vez que está acontecendo, digamos que há cerca de 15 GB de alterações, qual delas será mais rápida ao comparar a estrutura de diretório para espelhá-las?

    

Answer 1

Eu usaria rsync, porque isso só copia o que mudou.

Eu instalaria o cygwin com openssh e rsync no servidor windows, e usaria o rsync sobre o ssh para fazer o backup, com um comando como este:

rsync -e ssh -var --progress --partial server:/cygdrive/c/myfiles $HOME/mybackup

A vantagem sobre o uso de suas opções de ftp ou samba é que neste caso o rsync é executado localmente na caixa centos e no servidor windows coletando nomes de arquivo + tamanhos + timestamps e (se necessário) checksums, e somente (aquelas partes de) arquivos e pastas que são alterados (ou novos) serão transferidos.

O Cygwin pode ser baixado aqui link Certifique-se de instalar o openssh (servidor) e o rsync.

E isso provavelmente funciona para ativar o servidor ssh após a instalação do Windows: link

    

Answer 2

O Rsync é uma solução completamente apropriada aqui. a resposta do @jellefoks cobre a maior parte de como fazer isso, eu gostaria de acrescentar que eu uso o rsync para backup um NAS de 20+ TB acima de 1GB para outro NAS e demora cerca de 1,5 horas para fazer isso todas as noites. Portanto, usar 100MB obviamente será mais lento, mas, dado o tamanho do conjunto de dados, ele deve ser completamente aceitável.

A única ressalva com rsync é se a natureza dos dados é tal que são muitos arquivos, então obviamente levará mais tempo do que se eles forem menos arquivos maiores. Existem algumas otimizações que você pode fazer com rsync para comparar os arquivos com base no timestamp e no tamanho em comparação a uma soma de verificação para melhorar seu desempenho.

Por fim, gostaria de sugerir o uso do BackupPC . Ele oferece a opção de usar vários métodos para backup (Samba, rsync, etc.), mas seu verdadeiro valor são os relatórios baseados na web. Eles são extremamente úteis para verificar se um backup foi executado e quanto tempo demorou.

    

Answer 3

Para este caso de uso (espelhamento diário), você deve instalar o rsync daemon rsyncd do Cygwin, e não se preocupar com ssh / ftp / samba. Aqui está uma boa explicação sobre como configurar o Windows e o CentOS.

link