Existem basicamente duas maneiras de executar o Ubuntu a partir de uma unidade USB.
O primeiro é fazer uma instalação regular e selecionar a unidade USB como o destino da instalação. Certifique-se de selecionar a unidade certa para gravar o GRUB no registro mestre de inicialização (MBR). Se você selecionar sua unidade interna por engano, o computador não inicializará se a sua unidade USB não estiver conectada, mesmo que sua intenção seja inicializar no Windows.
O segundo é usar o programa Startup Disk Creator no Ubuntu para criar uma instalação do Live USB. Para adicionar persistência, selecione a opção "Armazenado em espaço extra reservado" sob a pergunta "Ao inicializar a partir deste disco, documentos e configurações serão:" e use o controle deslizante para reservar o espaço necessário para armazenar seus documentos e extra aplicações.
Se você quiser remover o ícone "instalar isto" da sua área de trabalho, tudo o que você precisa fazer é desinstalar o pacote chamado "ubiquity". Faça isso com:
$ sudo apt-get remove ubiquity
Observe que isso só funciona se você tiver ativado a persistência ao criar o USB ativo. Se você usar o primeiro método, a ubiquidade será desinstalada como parte do processo de instalação.