Se você instalou o Ubuntu no pendrive usando o Criador de disco de inicialização ou o UNetbootin, você tem uma instalação persistente.
Todos os seus dados persistentes são armazenados em um arquivo chamado casper-rw. Você pode montar este arquivo e acessar esses dados da seguinte forma:
sudo mkdir /media/casper
sudo mount -o loop casper-rw /media/casper/