Em vez de instalar um sistema Ubuntu completo no seu memory stick, você deve instalar uma imagem ao vivo com a persistência ativada (ou seja, os arquivos na pasta home são mantidos). Você pode fazer isso executando:
gksudo usb-creator-gtk
Em seguida, escolha a imagem ISO do Ubuntu e escolha a quantidade de espaço que você deseja reservar para persistência.
Pode ser necessário instalar o programa primeiro para que isso funcione. Se você receber um erro ou nada for aberto, execute o comando:
sudo apt-get install usb-creator-gtk
Quando terminar de instalar, execute o comando original novamente.
Se você está fazendo isso do Windows, você pode usar o Universal USB Installer para obter o mesmo resultado. Basta escolher a imagem ISO e o pendrive e escolher a quantidade de persistência desejada.