Isso é estranho. Talvez não esteja inicializando do seu USB e passando para o menu GRUB já instalado.
Se é isso que está acontecendo e desde que você mencionou que tem UEFI, você deve refazer o disco USB do Ubuntu com o Rufus e selecionar a inicialização UEFI nas opções do Rufus.