O Desktop ou "Live" é executado em um sistema de arquivos somente leitura e possui espaço limitado. Você não pode salvar suas configurações entre a inicialização e você terá espaço limitado para salvar seu trabalho.
Você pode, no entanto, salvar dados em seu disco rígido ou em um segundo flash drive.
Você também pode condensar seu drive USB. Você pode adicionar uma segunda partição ou inicializar o live CD com persistência.
Dependendo do que você está querendo e do tamanho da sua unidade flash, talvez você possa simplesmente instalar o Ubuntu na unidade USB.