Nas configurações da BIOS, em "Opções de inicialização" (ou opção de nome semelhante), escolha HDD no qual o Ubuntu está instalado como o dispositivo de inicialização padrão. Salve as alterações.
Isso deve fazer seu sistema inicializar automaticamente no Ubuntu. Antes de iniciar o Ubuntu, ele pode mostrar a opção de iniciar o Windows também (geralmente a última opção). Veja abaixo.
Se o Ubuntu iniciar, mas não lhe der a opção de inicializar no Windows, então, enquanto estiver no Ubuntu, abra o terminal e use este comando para atualizar as configurações do GRUB:
sudo update-grub
Reinicie e verifique se você pode ver a opção do Windows agora.