Você pode usar usb-creator-kde e um pendrive que tenha 2 GB ou mais. A ferramenta apresenta opções para usar algum espaço para armazenamento persistente no pendrive.
Caso o stick seja menor que 2 GB, as opções não estarão disponíveis.
O armazenamento persistente é configurado como arquivo de sistema de arquivos de loopback no bastão (máximo de 4 GB). Este arquivo é então usado como sobreposição no sistema live (ao invés de RAM).
Isso funciona muito bem - apt-get install e wine funcionam como esperado e tudo está escrito no bastão.
No meu sistema Ubuntu 11.04, o usb-creator foi um pouco exigente. Com um stick de 16 GB, ele não conseguiu gravar o setor de inicialização. usb-creator-gtk não relatou o problema - udb-creator-kde relatou. Com outro pau sudo usb-creator-kde começou a GUI, etc - mas o stick resultante não inicializou. Com usb-creator-kde dentro de um sudo su - , a instalação no mesmo bastão funcionou e o sistema ao vivo foi inicializado.
Eu olhei para o initrd.lv do pendrive resultante e notei em scripts/casper que o sistema ao vivo verifica se persistent é dado como parâmetro de inicialização e se ele pode encontrar um sistema de arquivos ext2 rotulado casper-rw - em caso afirmativo ele usa isso como sobreposição.
Este mecanismo também é documentado no wiki do Ubuntu . Mas eu não consegui criar uma segunda partição no stick que é reconhecida pelo sistema live. Eu não consegui criar primeiro a partição e instruir usb-criador para usar apenas o primeiro. Eu também não deixei o usb-creator criar o sistema live e use gparted para reduzi-lo e criar uma segunda partição (como descrito no Wiki) - o stick resultante não inicializaria mais.