A persistência permitirá que você instale o Latex apenas para esse stick USB. Instalar o Ubuntu desse stick em outro PC instalará apenas o Ubuntu original. Você precisa criar um arquivo de imagem ISO personalizado do Ubuntu contendo todo o software que você quiser.
Instale o Ubuntu em um PC e, em seguida, instale todos os softwares desejados / necessários, depois use os scripts Remastersys, UCK, PinguyBuilder, Cubic, Live-Magic ou personalizados para fazer isso. Lembre-se de que esse processo requer grandes quantidades de tempo, memória e espaço em disco (para arquivos temporários). Fazê-lo diretamente de um stick usb pode nunca funcionar.