A resposta rápida: Se você instalar o Ubuntu em um USB externo, você não será solicitado a escolher o seu sistema toda vez que inicializar o seu PC.
O cenário em que você está pensando é quando o Ubuntu e o Windows estão instalados no mesmo disco rígido e o menu de inicialização do GRUB pergunta de qual partição inicializar.
Isso é diferente quando a inicialização forma uma unidade externa e é realmente tratada pelo BIOS.
Isso é muito específico do sistema, então não posso dar instruções detalhadas, mas aqui estão os passos que você deve seguir. Vamos fingir que você já fez seu Ubuntu liveUSB.
Desligue seu computador e conecte o disco rígido externo.
Inicialize o computador no menu de opções de inicialização do BIOS (isso é específico do sistema e geralmente é feito pressionando a tecla ESC ou F * durante a inicialização).
Neste menu, deve haver uma opção para inicializar a partir da unidade USB. Selecione isso e você irá inicializar a partir do disco rígido externo.
Para obter uma experiência plug and play como essa, você pode fazer mais algumas coisas na BIOS. Se você entrar no Menu da BIOS, você deve ter uma opção para alterar a ordem de inicialização. Seu disco rígido interno deve ser o primeiro (o CD pode ser o primeiro). Altere isso para que o USB seja o primeiro na ordem de inicialização.
Agora, sempre que você inicializar o PC com o USB conectado, ele será inicializado automaticamente a partir do disco rígido externo, se encontrar um dispositivo inicializável.
Nota: Muito disso lida com o seu BIOS e é específico do sistema e não é realmente relacionado ao Ubuntu.