Sim, você pode instalar programas, mas não é tão estável quanto uma instalação real. Nesse caso, eu recomendo instalar o Ubuntu diretamente no pen drive, como se fosse um HDD. Então você deve usar outro usbstick ou um livecd ...
Use ext2 para partição do sistema. Caso contrário, não funcionará.