Uma instalação normal em um pendrive é como um LiveCD. Quando você desligar tudo vai. A alternativa (a palavra mágica) é "persistente". Com um pendrive persistente, você pode salvar ALGUMAS coisas, mas NÃO TODAS.
pendrivelinux.com diz a você ( link ):
(Entre as vantagens)
"Portabilidade - Marcadores, configurações, preferências do sistema, customizações e downloads de arquivos podem, na maioria dos casos, ser armazenados e recuperados ao inicializar de máquinas diferentes ou múltiplas."
e
(Entre as desvantagens)
"Algumas alterações não são salvas persistentemente - em alguns casos, mais modificações são necessárias para permitir que coisas como configurações gráficas da placa e configurações da placa de rede sejam salvas. Em alguns casos, atualizações em todo o sistema não funcionam."