Maneira mais eficiente de fazer backup / sincronizar diretórios grandes sobre SSH

Question

Eu estou olhando para fazer backup de alguns diretórios grandes em um servidor dedicado para outro servidor em uma base diária usando o mínimo de largura de banda

O RSync parece estar pronto para a tarefa, mas não tenho certeza das melhores opções de comando

Eu gostaria de fazer vários diretórios selecionados para um diretório "backup" em outra máquina através de SSH

Alguma idéia?

    

Answer 1

Gostaria de acrescentar que é melhor que você use --numeric-ids flag para preservar os uids / gids de seus arquivos para que eles não sejam mapeados novamente para usuários locais.

Se você for manter backups históricos (por exemplo, diretórios de AAAA-MM-DD), a opção --link-dest=DIR seria de grande utilidade.

Caso seus dados possam ser efetivamente compactados (código-fonte, arquivos de texto simples, registros), o -z pode ser bastante útil.

Caso contrário, -aH cobriria a maior parte das suas necessidades.

    

Answer 2

Tente fazer isso (a partir do servidor de backup):

rsync \
    -a \
    --bwlimit=100 \
    remote-server:"/path1 /path2 /path3" /local/backup_$(date +%Y%m%d_%H:%M)

--bwlimit=100 representa quase 100 KB / s

Você pode usar hard links com cp -al entre os dias, assim você pode economizar muito espaço em disco e rsync apenas alterou os arquivos!

É assim que o rsnapshot projeto funciona.

    

Answer 3

rsync está ok, mas lembre-se de que você precisa estar executando rsyncd em uma das máquinas para aproveitar o algoritmo de detecção de alterações .

Quanto às menções ocultas sobre hardlinking, talvez você também esteja interessado em fdupes .

    

Answer 4

O Rsync é de fato a ferramenta de baixo nível correta para lidar com isso. Em vez de se preocupar com opções de rsync, use ferramentas de backup dedicadas, existem muitas. O Rsnapshot é uma escolha popular, veja se os seus requisitos (sobre os quais você não é muito explícito) atendem às suas capacidades. A Duplicidade é outra ferramenta de backup baseada na biblioteca rsync.