Eu tenho um HP 250 G1 com o Win 8.1 e agora o Ubuntu, e passei pela mesma estranheza.
Com o firmware da HP, você provavelmente pode tocar em F9 na inicialização, assim como o logotipo da HP é exibido, e receber as opções de dispositivos de inicialização.
O topo da lista será o gerenciador de inicialização do sistema operacional ; esse é o Gerenciador de Inicialização do Windows. Então você deveria ver uma ou duas opções do Ubuntu listadas.
Existem duas maneiras que o Grub é instalado em um sistema UEFI (existe uma terceira via, possivelmente, envolvendo uma opção Legacy Boot no BIOS e instalando o Grub no MBR como nós costumávamos fazer, mas vou deixar isso por enquanto).
Uma das duas opções do Ubuntu usa o arquivo grub.efi (ou grubx64.efi em um sistema de 64 bits). Isso só funcionará se você tiver a Inicialização Segura desativada, porque este gerenciador de inicialização não está assinado.
A outra entrada do Ubuntu usará shim.efi (ou shimx64.efi), que é um kludge para permitir que o Grub inicie mesmo quando o Secure Boot está habilitado.
Um ou ambos irão levá-lo a um tradicional menu Grub branco-sobre-roxo, a partir do qual você pode inicializar o Ubuntu.
Há bugs (ou talvez apenas comportamentos intencionalmente estranhos) na implementação da UEFI da HP, o que dificulta a execução de qualquer outro Boot Manager além do da Microsoft. O firmware da Lenovo também tem algumas peculiaridades - não é apenas uma coisa da HP.
Existem formas de fazer o HP BIOS ir diretamente para o Grub. Existem até maneiras de persuadir o Gerenciador de Inicialização do Windows a oferecer uma opção do Ubuntu, mas isso é bastante complicado e, como eu mesmo não os explorei completamente, não vou aconselhá-los aqui.
Eu posso oferecer um link para uma descrição do processo de inicialização da EFI , o que pode ajudar a explicar o que está acontecendo.