Como você está usando o Windows 8.x, é bastante seguro assumir que você pode e deve usar uma versão de 64 bits do Ubuntu. Se o seu computador estiver protegido pelo UEFI Secure Boot, você não terá escolha. Você tem que usar o Ubuntu de 64 bits.
Parece-me que você pode ser novo no Ubuntu. Nesse caso, recomendo que você instale o mais novo LTS (suporte de longo prazo) do Ubuntu, que é o 12.04LTS. Você pode baixar o iso para isso aqui: link
Se você quer o mais novo lançamento, mesmo que você tenha que atualizar o SO em cerca de 8 meses, você pode obter o Ubuntu 13.10 aqui: link
Agora, no lado do Windows, a fim de tornar um cartão de memória USB inicializável, você deve baixar um programa chamado Unetbootin. Você pode obtê-lo aqui: link
É muito fácil de usar. Você apenas selecionará o arquivo iso e selecionará o pendrive USB e isso é principalmente.