"Experimente o Ubuntu sem instalar" inicializa o Ubuntu como um "sistema ao vivo". Isso significa que ele é executado inteiramente a partir da mídia removível (o DVD do instalador ou a unidade USB) e não do disco rígido interno.
Em um instalador normal de DVD ou USB do Ubuntu (sem persistência - se você não sabe o que é isso, você não configurou), todas as alterações feitas no sistema live são mantidas apenas na RAM e, portanto, descartadas assim que como você desligou.
No entanto, você pode montar manualmente outros dispositivos de armazenamento (como as partições internas do disco rígido) e modificá-los. Isso não acontece automaticamente, mas como o @TorstenS apontou em seu comentário, é bem fácil fazer isso acidentalmente, já que cada partição montável e dispositivo normalmente são representados por um ícone na área de trabalho e no gerenciador de arquivos Nautilus. Clicar nesse ícone montará o respectivo sistema de arquivos e mostrará seu conteúdo, permitindo que você modifique tudo. Você também pode facilmente formatar ou reparticionar seus discos a partir de um sistema ativo, excluindo efetivamente as coisas do seu disco interno. O Ubuntu não fará nada disso sozinho, a menos que você o diga, mas você ainda precisa tomar cuidado para não fazer isto acidentalmente.
Sobre o seu caso especial de instalação ou remoção de pacotes de software: essas alterações também são mantidas apenas na RAM e não são preservadas nas reinicializações (novamente, a menos que você crie manualmente um instalador USB com persistência, mas provavelmente não fez isso ). A próxima vez que você inicializar a partir da mídia do instalador, estará no mesmo estado da última e das vezes anteriores.