Configure a mídia de inicialização USB da maneira padrão, e será possível inicializar em modo UEFI ou legado. É possível converter sua instalação herdada do Ubuntu para UEFI, (adicionar os gerenciadores de inicialização / EFI / ubuntu, alterar alguns arquivos como fstab, mas é muito mais fácil simplesmente reinstalar no modo UEFI quando você tem a mídia apropriada. Como você pode inicializar a mídia depende da maneira como a mídia foi configurada - você a configura apenas para inicialização herdada, de modo que só pode inicializar no modo herdado. Tenha cuidado ao reinstalar o Ubuntu - NÃO selecione uma opção de reinstalação do grub, que apagará todo o disco.
Faça o que fizer, faça backup de seus arquivos importantes primeiro no lado do Windows. Coisas ruins podem acontecer com um simples erro de digitação. A sugestão de reparo de inicialização do Oldfred deve ser uma maneira fácil de converter a instalação do Ubuntu em UEFI. É apenas um passo extra para alternar os modos de acesso ao outro SO, não sei de nenhum dano que possa causar.