Sim, você pode instalar o Ubuntu em um usb, com uma opção de persistência, isso significa que você pode armazenar informações no SO, ou seja, no usb ....
Isso é do Windows ...
Verifique este link: Crie uma unidade flash USB inicializável persistente
Um vídeo: Como criar uma unidade flash USB LTS inicializável e persistente do Ubuntu 14.04.1 [2014]
Isso é do Linux
link 1: Criando uma unidade flash USB inicializável do Ubuntu a partir do terminal
link 2: Como criar um dispositivo USB inicializável no Ubuntu