Isso depende da maneira como você criou o USB ao vivo. Se você configurar a persistência, os dados serão armazenados em um arquivo especial chamado casper-rw (para o Ubuntu). Confira o link abaixo para mais informações:
Existe algum arquivo armazenado no meu disco rígido quando estou executando a versão Live USB do Ubuntu? Onde o histórico de navegação na Web é armazenado durante a execução do Live USB Ubuntu?