Para instalar o ubuntu em um HDD / pendrive externo (mais de 4Gb) você pode usar o método explicado pelo @Liang ou prosseguir como faria para uma instalação normal, mas particionando o pendrive como faria com seu HDD interno e escolhendo para instalar o gerenciador de inicialização no seu pendrive ( não interno hdd ).
Sim, você pode inicializar a partir de qualquer computador que a bios permita inicializar a partir de USB.
Eu fiz isso há 2 anos com um pendrive de 32Gb e tenho alguns conselhos:
- Você deve ter cuidado ao instalar drivers proprietários, pois eles podem não ser bem aceitos quando você inicializa de outro computador.
- Cuidado com as atualizações. Quando eu estava usando isso, fiz algumas atualizações que apagaram o meu grub do USB e instalei a nova versão no HDD interno. Eu não me lembro de todos os detalhes sobre isso, mas isso estragou todo o meu pendrive, especialmente porque eu não sabia o que estava fazendo ao tentar consertá-lo. Então, meu conselho é, se você precisar de atualizações, remova seu disco rígido interno.