Depende de você ter criado uma unidade USB com persistência ativada. Se você fez, pacotes e configurações estarão lá na próxima vez que você usá-lo.
Se você não o fez, a documentação oficial pode ajudá-lo a criar um Live Ubuntu com modo de persistência .