Sim, olhe primeiro para ter certeza de que você está usando a versão correta do Ubuntu para fazer seu pendrive inicializável. Por exemplo Se você tem um laptop de 64 bits, é melhor ir com um de 64 bits.
Se você não sabe como verificar isso. Vá para o seu computador windows, digite msconfig em start e clique em msconfig. Ele mencionará claramente se você tem um sistema de 64 ou 32 bits.
Em seguida, você pode usar unetbootin para criar o usb inicializável.
A próxima coisa importante é que você verifique se tem uma sequência de inicialização correta, ou seja, se o seu usb está no topo e depois no disco rígido. Isso é importante.
Verifique também se você não conectou nenhum outro flash drive quando estiver instalando, pois isso pode causar confusão. Eu acho que isso deveria ser suficiente para o seu problema. Se não, não hesite em acompanhar.