Se você quiser salvar as alterações em uma instalação do Live Ubuntu, a instalação precisa ser Persistente.
Você pode salvar até 4 GB de alterações se usar o UNetbootin para instalar o Ubuntu em um dispositivo USB.
Você pode salvar alterações ilimitadas em uma instalação persistente feita com o mkusb.
O Startup Disk Creator que vem com o Ubuntu não faz mais instalações persistentes.
Também é possível fazer uma instalação completa para USB, o mesmo que para um HDD interno. É recomendável que você desative a unidade interna antes de continuar com isso para não estragar a unidade interna ou instalar o carregador de boot no lugar errado. Isso também garante um menu limpo no drive USB.