Você configurou uma inicialização dupla com carregamento em cadeia de janelas.
Esta é a maneira comum de fazer isso e, em alguns casos, a única.
Para conseguir o que você pergunta, você não deveria ter tocado em nada sobre boot, apenas instale o ubuntu na unidade USB e altere a ordem de inicialização para USB primeiro. Dessa forma, o sistema normalmente inicializará no Windows, mas inicializará no Ubuntu quando o USB estiver presente.
Por favor, tenha em mente que:
- as distribuições ao vivo no USB 2.0 são mais lentas que a instalação correta
- o ubuntu 14.04 está a menos de um ano da EOL e um novo LTS acaba de ser lançado