Primeiro, você pode reinstalar o live usb usando a mesma versão (Ubuntu 13.04), embora eu sugira usar o Ubuntu 12.4.2 se você for usá-lo por um longo tempo.
Algumas coisas a serem consideradas. Seu hardware / BIOS está configurado para usar o UEFI? Se assim for, altere-o nas configurações do BIOS e / ou selecione a maneira correta de montar o USB através da seleção de inicialização do BIOS.
Você configurou o BIOS para inicializar a partir do USB? Isso também pode ser feito através das configurações da BIOS.
Desde que a versão que você está tentando usar esteja listada no Universal USB Installer, tudo deve funcionar nesse ponto. Reinstale-o no USB e tente novamente.
Além disso, confira as respostas na possível tag duplicada acima.