Sim, de duas formas diferentes:
-
Instale permanentemente o Ubuntu em uma unidade externa, como um HDD removível ou até mesmo uma unidade flash grande. Para fazer isso, você precisará alterar a ordem de inicialização "BIOS" (UEFI) para verificar USB antes do HDD interno. Provavelmente, você pode deixar a inicialização UEFI ativada, mas desabilitar Inicialização rápida para a instalação (e reativá-la posteriormente). Se o disco externo estiver desconectado, ele deverá inicializar no sistema operacional atual.
-
Instale o bootloader grub no disco interno, mas especifique um disco rígido externo para a partição ext4 do Ubuntu. Isso permite que você mantenha a ordem de inicialização como HDD interno primeiro, mas requer a modificação de sua partição de inicialização.
Veja AskUbuntu para mais informações.