Você pode acessar a interface da bios digitando fxx (geralmente f12, mas depende do fabricante) logo após ligar sua cpu. Eu tenho que fazer isso quando o logotipo da Asus aparecer.
Uma vez nessa interface, você pode alterar a ordem de inicialização (colocar o windowsboot-manager em segundo lugar) ou substituir a inicialização manualmente. Normalmente seu ubuntu booter (grub) tem o nome da unidade em que você instalou o Ubuntu. Mas, mais uma vez, se você não souber qual opção de inicialização é a certa, experimente todas.
Eu só posso aconselhar a procurar nas configurações da bios, uma vez que você está apenas olhando em volta. Se você precisar de mais ajuda, poste algumas telas.