Primeiro você tem que baixar a imagem iso para um sabor do Ubuntu à sua escolha. Eu recomendo Ubuntu 12.04.4 LTS iso image. Em seguida, você precisa gravar a imagem em algum DVD (ela tem 731 MB de tamanho para não caber em um CD normal). Se você executar o Windows 64bit, tente gravar a imagem usando uma máquina de 32 bits, peça ajuda a algum amigo.
Em seguida, você pode inicializar o Live DVD com o Ubuntu, escolher Experimentar o Ubuntu ao invés de Instalar o Ubuntu no menu de inicialização. Quando estiver na sessão ao vivo, você precisará configurar sua conexão com a Internet e, em seguida, fazer o plug-in do pendrive USB.
Você pode iniciar o instalador do ubuntu a partir do ícone da área de trabalho presente lá. Escolha a terceira opção para instalar o Ubuntu quando for apresentado com 3 opções. A terceira opção é Algo mais . Você estará chegando à tabela de partições para o seu HDD e seu pendrive USB. Selecione seu pendrive USB no menu suspenso, exclua todas as partições presentes nele e crie duas novas partições, uma para raiz formatada como Linux etx4 com foreslah / como inicialização ponto de montagem que deve ser uma partição grande, e o outro até 2 GB de tamanho para troca de Linux.
Agora você pode selecionar sua partição raiz recém-criada e pressionar Próximo para começar a instalar o Ubuntu. Muito importante, enquanto ainda está de frente para a janela da tabela de partições, opte por instalar o gerenciador de inicialização em seu pendrive USB (selecione USB e não HDD no menu drop-down para bootloader). Dessa forma, você terá certeza de que o seu USB será inicializável, mas também terá que alterar as configurações do BIOS para poder inicializar a partir do USB ou pressionar a tecla do menu de inicialização ao inicializar o computador e escolher USB para inicializar em vez de HDD.