É verdade que você pode instalar o software em uma sessão ao vivo do Ubuntu, ao inicializar a partir de um stick USB (chamado Live CD ). Onde ele armazena depende de que tipo de pendrive você fez (persistente ou não-persistente, como você mencionou). Para fornecer uma resposta completa, mencionarei as duas opções abaixo.
Se a norma , sessão não persistente é usada, ela faz um sistema de arquivos na RAM, que pode ser usado até que o espaço da RAM se esgote. Todas as alterações serão apagadas ao reinicializar o sistema.
O que também pode ser feito é usar uma unidade USB persistente , onde uma certa quantidade de espaço é alocado na própria unidade USB. Esse espaço pode ser usado para salvar configurações e software instalado e salvá-lo, tornando-o disponível novamente ao inicializar a partir do USB da próxima vez.