Crie seu pendrive USB no Criador de disco de inicialização do Ubuntu selecionando a opção "Armazenado em espaço extra reservado". Selecione a quantidade de espaço extra que você deseja usar no dispositivo USB para armazenar seus arquivos e dados.
(Como dica, eu gosto de usar a versão do KDE do Criador de disco de inicialização, usb-creator-kde, porque parece funcionar melhor para mim).
Outra opção é inserir um segundo dispositivo USB durante a execução do Ubuntu a partir do (primeiro) Live USB stick. Salve seus arquivos no segundo pen drive.