Se o site não precisar estar ativo enquanto você o fizer, há uma série de soluções, sendo a mais fácil garantir que o disco seja montado somente para leitura (por exemplo, usando um disco de inicialização) e fazer uma cópia de bit. de 1 disco para outro. Então, se algo der errado, basta colocar o disco de backup, ligar o servidor e ir embora.
Se o site precisar estar ativo ao fazer a cópia, o problema será mais complexo. Uma boa maneira de lidar com backups no Linux é agendar backups incrementais usando algo como o rsnapshot (mas o rsync pode ser mais fácil no seu caso). Se você tiver que restaurar, precisará começar a reconstruir o servidor e, em seguida, copiar o instantâneo mais recente.
Você não indicou a quantidade de dados que está fazendo backup, com que frequência ele muda ou o layout dos discos. Ambas as coisas são úteis para criar uma solução de backup. Se você está construindo um novo sistema (ou teve a perspicácia quando construiu o sistema original), geralmente é útil construir o sistema de arquivos no LVM, depois fazer um snapshot do LVM e fazer o backup dele. Isso significa que não há tempo de inatividade e você pode fazer uma cópia exata de [a maior parte] do sistema de arquivos em um determinado momento. Supõe, claro, que você usa o LVM.
Da mesma forma, se você tiver uma boa separação entre o seu sistema operacional e o seu aplicativo, você pode querer começar com uma instalação básica do Ubuntu 12.04, então faça o backup apenas dos aplicativos de forma incremental. Você também pode querer manipular bancos de dados de maneira diferente para arquivos da Web, descarregando os bancos de dados. Da mesma forma, o tar (às vezes em dispositivos de bloco) pode ser bom para backups completos e compactados - mas ao fazer o backup de dispositivos de bloco, saiba que as alterações de arquivo durante o backup do dispositivo de bloco podem voltar a ocorrer sem cuidado.
Infelizmente, é difícil ser mais específico do que isso, porque os backups são um pouco específicos do sistema.