Você deve ser capaz de instalar o Ubuntu no HDD (partições para / e swap , talvez também /home ou o que você quiser separar), mas crie uma partição /boot separada na unidade USB e instale também o bootloader GRUB lá.
Em seguida, você deve poder conectar seu USB e selecioná-lo como dispositivo de inicialização no menu BIOS / UEFI.
Mas as outras partições permaneceriam no HDD e poderiam ser acessadas a partir do sistema Windows (usando ferramentas especiais) ou qualquer outro sistema ao vivo (Ubuntu) inicializando a partir de CD / DVD ou USB. A criptografia de unidade seria útil para evitar esse tipo de acesso indesejado, embora eu não tenha certeza se isso funcionaria junto com a inicialização de uma mídia externa.
Note que eu nunca tentei esse tipo de instalação, então não tenho experiência prática e posso lhe dizer algo errado.
Certifique-se de ter cópias de segurança válidas dos seus dados antes de alterar qualquer coisa!
E como sempre: você opera por sua conta e risco . Ninguém na UA pode ser responsabilizado por possíveis danos à sua máquina ou dados.