Isso depende da maneira como você criou o flash drive USB. Se você usou "Criador de disco de inicialização", você terá a opção de armazenar as alterações "no espaço extra reservado".
Então:
- consiga um pendrive grande o suficiente para armazenar suas alterações,
- use "Criador de disco de inicialização"
- carregaoarquivoISOdoUbuntuquevocêbaixoudositedoUbuntu
- useocontroledeslizantenaparteinferiordajanelaparaalocarespaçodopendriveparaarmazenarconfigurações
- da próxima vez que você inicializar com o pendrive, as alterações e instalações permanecerão lá, desde que haja espaço suficiente