Tente isso em uma janela do terminal do Ubuntu:
sudo efibootmgr -o 0
Isso deve resolver o problema. Como alternativa, você pode usar o EasyUEFI no Windows para mover a entrada ubuntu
para o topo da lista de ordem de inicialização.
EDITAR:
Se estiver redefinindo para inicializar diretamente no Windows quando você reinicializar o computador sem iniciar no Windows, a sua EFI está gravemente danificada. Verifique o site do fabricante para uma atualização (provavelmente chamada de "atualização do BIOS" ou algo similar). Se isso não ajudar, o melhor curso de ação é retornar o computador para um reembolso, supondo que você esteja no período de devolução. Se não, você precisará empregar um hack feio envolvendo renomear arquivos do carregador de inicialização. O Reparo de inicialização pode fazer isso de forma semi-automática com uma opção em seu menu Avançado, ou você pode fazê-lo manualmente, conforme descrito aqui. De qualquer forma, se for um EFI ruim, escreva para o fabricante para reclamar! Muitos vêm entregando EFIs de lixo por muito tempo!
Se isso acontecer somente após a inicialização no Windows, as chances são de que o Windows seja o culpado. Esta questão aborda essa variante do problema.