Uma vez consegui instalar o Ubuntu 12.04 no meu pen drive de 16 GB. Espero que você também possa instalar o Ubuntu em um pen drive. Eu primeiro formatei em duas partições. 1º como EXT4 , deu cerca de 12 GB e 2º como SWAP deu espaço restante. Qualquer como eu consegui usar o Ubuntu do pen drive.
Mas acredite em mim, não valeu a instalação. Era muito lento para responder e demorava segundos para abrir uma janela. Eu instalei em USB 2.0, então você pode experimentar USB 3.0. Mas eu não acho que isso vai correr rápido. Então eu prefiro que você apenas roube algum espaço da sua partição Windows existente e instale o Ubuntu nele. Gparted fará isso por você.