De acordo com a minha resposta aqui:
Isto é o que eu fiz para rodar o Xubuntu. A partir de um cartão SD, ele também se aplica a pendrives USB, é realmente muito simples.
Primeiro, precisamos de 2 pen drives, um para o liveCD e outro para instalar o sistema operacional.
Ok, então agora primeiro faça um drive de boot do liveUSB, eu recomendo que você use o UNetbootiN, para fazer isso, escolha o iso e crie o liveUSB.
Agora que você tem o USB inicializável, reinicie seu PC e inicie o liveUSB, assim que estiver lá, inicie a sessão ao vivo.
Quando você conectar o segundo USB ao PC e formatá-lo para EXT4, basta apontar o instalador para a unidade USB e pronto (eu fui um pouco para o lado extremo e desconectei todos os meus discos rígidos para evitar que o lar seja inservado ou bagunça as instalações existentes).
E agora você só precisa configurar o BIOS do seu PC para inicializar o dispositivo USB onde você instalou o sistema.