Você configurou um arquivo persistente. Quaisquer aplicativos que você instalar, documentos armazenados no sistema de arquivos casper ou alterações de configuração que você fizer serão mantidos . Este não é o mesmo que um sistema completo, projetado para uso permanente.
Para ver como instalar o Ubuntu no seu USB sem ser um Live USB, veja Como instalo o Ubuntu em uma chave USB? (sem usar o Criador de disco de inicialização) . Mas o que você vai descobrir é que tudo que você precisa fazer é basicamente iniciar o processo de instalação do Ubuntu a partir de outro Live USB e selecionar seu outro USB como alvo para instalação.
Se você quiser experimentar isso, mas seu pendrive está abaixo de 4,4 GB, você pode fornecer a imagem mínima um tiro.