Após a instalação bem-sucedida do Ubuntu, desconecte a unidade USB que você usou para a instalação. Reinicialize seu sistema e veja o que acontece.
Agora eu só entendo que seu USB é inicializável, e é por isso que seu sistema acessa novamente o mesmo processo e você obtém as mesmas opções que você tinha antes: Instale o Ubuntu, Experimente o Ubuntu sem instalar, etc.