Da sua descrição, isso parece um problema na placa gráfica. O menu de inicialização onde você seleciona o idioma seria 'grub', que é um software que o Ubuntu usa para inicializar no sistema operacional principal. (Grub v2.algo a ser mais específico) O Grub é carregado usando o driver Linux VESA, compatível com uma ampla variedade de placas gráficas. Mas suponho que seja possível que não seja compatível com o seu. Se for esse o caso, a melhor coisa a fazer seria fazer com que o Ubuntu inicialize o pendrive USB na "sessão ao vivo". A sessão ao vivo é quando o Linux inicializa pré-instalação. Nesse momento, carregará os drivers de código aberto para sua placa gráfica. Que espero que funcione melhor do que os drivers VESA ... Muito provavelmente não, mas vale a pena tentar.
Normalmente, se você não pressionar uma tecla quando o dispositivo USB do Ubuntu for inicializado, ele selecionará automaticamente o inglês como idioma padrão e iniciará a sessão ao vivo. Ou se esse não for o caso (alguns dos criadores de stick USB colocam em seus próprios menus), então você pode ver se é possível navegar no menu grub para selecionar seu idioma e então selecionar "tente o ubuntu sem instalar" ou algo assim, que é o modo de inicialização padrão e inicializará uma sessão ao vivo.
Também pode ajudar a pesquisar o modelo de sua placa gráfica / chip e ver se outros usuários de Linux estão tendo o mesmo problema e quais foram suas soluções.