Depende de onde você particionou seu sistema de arquivos.
Se o seu sistema de arquivos estiver no seu hardrive em seu laptop, os aplicativos que você baixar serão salvos em seu laptop, se o seu sistema de arquivos estiver no pendrive, seus dados de aplicativos e aplicativos serão salvos no pendrive.
O que você instalar no seu CD ao vivo não será salvo. No entanto, se você quiser salvar seus arquivos, configurações, aplicativos, etc. Você pode seguir este guia sobre como criar um Live USB que é persistente .