Como uma coisa única, alguns scripts leves e o uso de tar
e scp
provavelmente farão você bem.
Para uma solução de longo prazo, fiz uso pesado do Bacula. O suporte para backups regulares em qualquer número de sistemas é muito bom para trabalhos em andamento.
Não importa o que você faça, a questão de saber se está funcionando precisa ser testada. Coloque uma nova máquina on-line e tente restaurá-la a partir dos backups criados. Se você não puder, ajuste e tente novamente.