O sistema livecd carregará os componentes necessários na RAM a partir do seu pendrive. Toda vez que você iniciar um novo programa, ele será carregado a partir da imagem do pendrive.
O perfil do usuário é temporário e não é salvo. Mesmo se você salvou uma pasta de usuário e montá-la como sua casa, você terá preferências de programas, mas terá que reinserir todas as teses sempre que inicializar com o pendrive.
O sistema live CD não foi feito para o seu caso de uso. Você pode criar uma pequena partição no seu disco e instalar o Ubuntu para que você possa salvar suas coisas.
Você também pode instalar o Ubuntu diretamente no seu stick usb. Mas será lento dependendo da tecnologia USB que você tem em seu laptop e da própria chave usb (usb2, usb3, etc).
Eu recomendaria uma distribuição menor para isso, veja lubuntu e co
Marque esta Qual é o menor (tamanho instalado) ubuntu distribuição baseada em dados?