Talvez você acidentalmente tenha escolhido usar todo o disco para o Ubuntu. Quando você não consegue ver uma entrada de inicialização do Windows no menu de inicialização do GRUB que você mencionou - infelizmente você precisa reinstalar o Windows. Como você disse que acabou de instalar o Ubuntu, eu recomendo primeiro instalar o Windows e depois o Ubuntu.
Você precisa de uma mídia de instalação do Windows para fazer isso. Após terminar a instalação, reduza a partição do Windows com GParted da mídia de instalação do Ubuntu - crie uma nova partição a partir do espaço não alocado e formate-a com ext4 - então inicie o instalador do Ubuntu e escolha Outra quando perguntou e instalou o Ubuntu na nova partição ext4 que você criou antes.