Ao criar um USB inicializável no unetbootin, você tem a opção de especificar algum espaço para persistência.
Especificar um valor aqui permitirá ao Ubuntu salvar configurações, dados, aplicativos e outras personalizações, de modo que na próxima vez que você usar o USB para inicializar, você ainda tenha dados da sua sessão anterior disponíveis.