Você pode fazer uma instalação completa para pendrive, como você faria para a unidade interna ou fazer uma instalação persistente. Se uma instalação completa, é recomendável primeiro desabilitar a unidade interna. Uma instalação persistente é mais compacta e cabe em uma unidade de 2 GB ou maior.
OCriador de disco de inicialização que vem com o Ubuntu não faz mais instalações persistentes.
OUnetbootin fará instalações persistentes e terá uma versão do Linux e uma versão do Windows. A persistência é limitada a 4 GB com o UNetbootin, pois ele usa um sistema de arquivos FAT32.
Eu prefiro o mkusb , um instalador somente para Linux. O Mkusb faz várias partições, uma partição de boot, uma partição de sistema operacional ISO9660 somente leitura, uma partição persistente de casper-rw (sem o limite de 4GB) e uma partição de dados NTFS que pode ser acessada tanto pelo Windows quanto pelo Linux.