Instalei com sucesso em uma unidade USB, inicializei a partir da unidade USB e recebi um menu com 4 opções;
Selecionei o segundo - Instale o Ubuntu. Quando terminei a instalação, ele me disse que eu precisava reinicializar para concluir a instalação. Quando eu reiniciei com o USB ainda em, ele me traz de volta para o mesmo menu com as 4 opções. Quando eu reiniciei sem o USB, ele inicializa o Windows. Eu fiz algo errado?
Primeiro, parece que você baixou uma versão OEM do Ubuntu.
Eu sugiro instalar uma versão normal em www.ubuntu.com.
Além disso, após instalar o Ubuntu, você precisa inicializar a partir do seu HDD, não da mídia de instalação. Você precisa configurá-lo no BIOS ou apenas remover a mídia de instalação quando for solicitado a reinicializar.