O mínimo seria manter os próprios arquivos do usuário em /user . Além disso, para saber quais arquivos devem ser mantidos a partir de /etc , é benéfico usar um sistema como etckeeper que possa rastrear o histórico de alterações em /etc e quem as fez. IE - foram mudanças de distribuição ou mudanças que você fez?
Para o backup em si, eu sempre copio o seguinte:
/usr/local
/usr/share
/home
/var
/etc
/root
Existem maneiras de fazer backup delas usando o Rsync em uma área separada, usando hardlinks para que o espaço adicional não seja usado em backups subseqüentes.
Você pode restaurar /home/* como está, mas desejará escolher arquivos / pastas específicos, conforme necessário, de /var e /etc . Você saberá se precisar de algo específico de /usr/local , porque provavelmente você vai colocá-lo propositalmente.
O conteúdo de /var e /usr/share pode ser complicado. Apache, mediawiki, wordpress e vários outros serviços armazenam dados em ambos. Você deve saber se possui dados armazenados neles pela configuração que você fez quando configurou esses serviços. Se você não executar nenhum serviço de 'servidor' ou 'web', você pode estar seguro sem fazer o backup, mas é sempre mais sensato fazer backup do que desejar ter feito backup.
A menos que você tenha editado coisas manualmente em /etc , provavelmente você está seguro com uma configuração limpa. Se você tiver feito alterações manuais em /etc , é melhor transferi-las manualmente para saber exatamente o que está introduzindo no sistema limpo.
/opt também pode ser um diretório de interesse. Geralmente é criado ao instalar software distribuído com seu próprio instalador a partir de software fora de sua distribuição. Fazer backup disso é uma opção, mas você pode querer reinstalar esses pacotes - já que eles têm configurações que exigem links de volta para /etc