Baseado em esta documentação você pode usar tar para fazer backup de todo o seu sistema em apenas um comando:
sudo tar -cvpzf backup.tar.gz --exclude=/backup.tar.gz --one-file-system /
Ele criará backup.tar.gz archive na pasta em que você estiver. Você pode alterar o destino como desejar (por exemplo, pendrive)
Se você tiver seu home na partição diferente, será necessário fazer backup dele separadamente ou omitir --one-file-system flag e excluir diretivas como /proc , /sys , /mnt , /media , /run e /dev
Existem também muitas outras ferramentas como rsync ou Déjà Dup