Você pode dividir o usb em duas partições. Um para inicializar o Ubuntu, segundo para dados. Simples montar segunda partição do usb e seus dados estão disponíveis. Estes dados também estão disponíveis em qualquer outro PC ou no mesmo PC quando inicializar a partir do disco rígido.
Para acelerar o seu sistema ao vivo, tente adicionar swap via arquivo. Crie um arquivo de troca e adicione-o ao vivo.
dd if=/dev/zero of=/path/to/swap_file bs=1024 count=${size_of_additional_swap}
mkswap /path/to/swap_file
Depois de iniciar um sistema ao vivo, ative a troca com
swapon /path/to/swap_file
O arquivo de swap pode estar em usb ou na mesma partição, como uma distro ao vivo.
Tente, talvez isso seja a solução para você.