Para obter o melhor backup, primeiro interrompa qualquer serviço ou processo que esteja gravando arquivos. O ideal seria que você parasse tudo, exceto sua conexão SSH.
Se você tiver acesso SSH, poderá fazer toda a operação em um único comando
ssh remotehost 'tar -zcv /' > ServerBackup08222011.tar.gz
Isso criará o arquivamento no sistema remoto e salvará o backup em seu sistema local.
Outro método que eu prefiro para isso é apenas copiar o sistema de arquivos com o rsync. Supondo que você tenha outra caixa linux para fazer o backup para este comando, obteria tudo no sistema de arquivos raiz. Se você tiver sistemas de arquivos adicionais, precisará copiá-los separadamente.
rsync --one-file-system -av remotehost:/ /localpath/backup/