Você pode precisar ativar o "suporte USB legado" na sua BIOS, reinicializar e depois acessar o menu de inicialização da BIOS.
Outra coisa a tentar é conectá-lo a uma porta USB diferente, especialmente se você estiver conectando-o em um hub ou se o seu computador separar suas portas USB2 / USB3.
Meu sistema é 64 bits, mas importa se eu quero instalar um Ubuntu 32bits?
Não, isso deve funcionar bem, mas se você tem mais de 3 GB de RAM (ou é provável que atualize a RAM no futuro), eu recomendo usar o 64-bit para usá-lo com mais eficiência.