Após algumas pesquisas, descobri uma solução:
sudo efibootmgr
Em seguida, verifique o que foi o número de inicialização do Ubuntu. No meu caso, era 3, e para o boot do Windows era 1. (havia algumas outras opções para o Ubuntu e Windows, mas esses dois são os mais importantes)
Em seguida, digite um terminal:
sudo efibootmgr -o 3,1