Normalmente, você pode acessar o gerenciador de inicialização do firmware por meio de uma tecla de função, como o Raphael sugere. Se essa lista não tiver a opção USB, pode ser que a unidade USB que você está usando não tenha os arquivos de inicialização necessários; ou talvez o firmware tenha sido removido e removido permanentemente a opção de inicialização USB. Se este último, você pode ser capaz de recuperá-lo por mexendo com opções no utilitário de configuração de firmware. (Desculpe, não posso ser mais específico; infelizmente há tão pouca padronização nas EFIs que é impossível apontar para uma opção específica sem conhecimento da EFI específica em questão.) Na pior das hipóteses, a restauração dos padrões do firmware pode fazer o truque - mas isso também pode tornar o sistema incapaz de inicializar o Ubuntu.
Outra opção é instalar meu rEFInd. Depois de instalado, ele deve detectar unidades flash USB inicializáveis por EFI automaticamente - embora você possa precisar clicar em Esc para verificá-los se eles demoram a registrar. Normalmente eu recomendo tentar o rEFInd de uma unidade flash USB ou CD-R antes de instalá-lo, mas isso não é exatamente possível para você, então você teria que ir direto para instalá-lo através do pacote Debian ou PPA.