Para manter todas as alterações feitas no LiveUSB, você terá que ativar a Persistência no Drive USB.
Você pode conseguir isso com um aplicativo como UNetbootin .
Insira a quantidade de espaço que você deseja alocar na unidade USB para seus dados na coluna marcada na imagem abaixo.
Todas as alterações que você fizer, ou seja, instalar aplicativos, criar arquivos, etc., agora permanecerão na unidade USB e poderão ser acessadas mesmo após a reinicialização.