Mantenha a tecla Shift pressionada durante a inicialização: você verá o menu de inicialização. Se nenhuma entrada do Windows aparecer nela, você deve inicializar no Ubuntu e executar:
sudo update-grub
Ele deve encontrar todos os sistemas operacionais, se existirem.