Você pode clonar toda a unidade em um arquivo de imagem com dd , e até compactá-lo para economizar espaço:
sudo dd if=/dev/sdb2 | bzip2 >~/old-disk.img.bz2
Se você tiver pv , você pode até obter uma barra de progresso:
sudo pv /dev/sdb2 | bzip2 >~/old-disk.img.bz2