Se você está realmente tentando "instalar" uma distro Linux em um dispositivo USB, isso é uma coisa - o que eu não recomendo.
Mas para inicializar um disro Linux ao vivo a partir de um pen drive USB não é necessário muito. Basta preparar o pendrive USB com o sistema de arquivos FAT32 ou FATx (supondo que ele não esteja pronto e que você não precise de arquivos maiores que 4Gig). Em seguida, use algo como Yumi ou UNetBootN para torná-lo inicializável com sua escolha de Linux. Feito! Depois, você também pode usar o dispositivo de armazenamento USB para armazenar arquivos também (supondo que haja espaço).
Agora, se você quiser salvar quaisquer configurações ou outras coisas dentro do seu ambiente Linux, então você vai querer criar uma área de "persistência" (arquivo) na unidade USB também. A persistência age como um disco rígido virtual para qualquer configuração ou outra alteração que você faz quando está em seu ambiente Linux ao vivo. Então, quando você desligar, você não perderá nada. Puppy Linux faz isso quase por padrão também. Mas o Puppy faz isso de maneira ligeiramente diferente e pode até mesmo fazer isso completamente a partir de um CD regravável. (Coisas muito legais).
Portanto, não quebre o seu cérebro tentando instalar o Linux em um dispositivo USB - basta usar uma versão ao vivo preparada com UNetBootN, Yumi ou algo assim. Quase todas as principais distribuições Linux já estão disponíveis em versão "viva". Sobre a única coisa que você pode querer fazer é ativar a persistência. Você nem precisa formatar o dispositivo USB, pois provavelmente já está preparado com o sistema de arquivos FAT32. E tudo funciona com o FAT32.
Então, novamente, se o seu dispositivo USB é um disco rígido (HDD), então você vai querer instalar o Linux enquanto o HDD estiver em um controlador HDD - não em uma porta USB (mesmo que você possa fazer isso) . Você pode até mesmo desconectar qualquer outro HDD quando fizer isso também. Depois, basta re-house o HDD de volta em seu gabinete USB. Feito! A única coisa que você provavelmente não quer fazer depois é habilitar qualquer hardware especial como certas configurações de vídeo 3D, pois pode nem sempre funcionar em outros sistemas diferentes (essa é a única desvantagem de não usar uma versão ao vivo).
Espero que ajude.