Eu tenho uma configuração semelhante com o Ubuntu 11.10. Eu fiz um CD live / installer do Ubuntu e inicializei um laptop (um desktop também teria funcionado) com o CD e a unidade USB montados. Então eu acabei de instalar o sistema operacional na unidade USB (sendo muito cuidado para não instalar no disco rígido do laptop). Agora eu posso inicializar o laptop a partir da unidade USB e ter um sistema Ubuntu em execução que use a unidade USB para seu armazenamento principal. E se eu quiser usar o sistema operacional instalado no laptop (que é o Windows), posso simplesmente desligá-lo, removê-lo e reinicializá-lo.
EDIT: Descobri hoje que isso pode não ser uma idéia tão boa quanto eu achava que era. Eu tinha inicializado o pendrive USB em um sistema (um laptop Acer Aspire 5050), e até hoje eu nunca tinha realmente tentado usá-lo em outro sistema. Hoje eu tentei inicializar outro laptop (um Dell Precision M2400) com o drive USB. Ele me mostrou um menu de inicialização do Debian (não Ubuntu), e eu nunca consegui um ambiente de trabalho. Ainda é uma maneira (bastante estranha) de ter um sistema de inicialização dupla sem tocar no disco rígido, mas não parece ser utilizável em sistemas diferentes daquele em que foi criado. (O que faz sentido; existem configurações específicas para o sistema em que você instala.)
EDIT 2: Ou talvez não seja esse o problema; não está funcionando no laptop original também. Eu poderia tentar reinstalar o sistema operacional na unidade USB.
Note que você também pode gravar a imagem do CD live / installer diretamente em uma unidade USB, mas isso não lhe dá a mesma coisa; Ele permite que você use o drive USB como se fosse um live CD, não um sistema operacional totalmente instalado.