Em caso de dúvida, faça o backup de tudo o que está no disco.
As coisas mais óbvias que você pode pular o backup são swap e /tmp (que podem estar na memória virtual já).
Se você quiser economizar espaço de backup, às custas de uma recuperação mais lenta, poderá omitir /usr , exceto /usr/local . Para recuperar, faça uma instalação mínima do sistema, instale os pacotes instalados (isso depende da distribuição) e, em seguida, recupere-os do backup.
Existem pedaços em /var que você não precisa fazer backup. Em particular, qualquer coisa em /var/cache deve ser regenerada sob demanda. Há uma exceção: /var/cache/debconf/config.dat e /var/cache/debconf/passwords.dat em sistemas baseados em dpkg contém dados de configuração de pacotes Debian inseridos pelo administrador (está fora do lugar em /var/cache ).