Normalmente, a maneira mais fácil de fazer isso é instalar o Linux após o Windows; então o gerenciador de inicialização é instalado automaticamente & configurado. O Ubuntu vem com o GRUB (ou GRUB2) para gerenciar o processo de inicialização. Por outro lado, o Windows não é capaz de oferecer a opção de inicialização do Linux sem usar ferramentas de terceiros.
Como o que você descreve parece indicar que você instalou o Windows após o Ubuntu, é necessário retroceder um pouco. Você deve ser capaz de reinstalar o GRUB e detectar automaticamente a instalação do Windows e oferecer as opções na inicialização.
Existem bons artigos aqui: link e link
FWIW, hoje em dia, se você tem uma instalação do Windows e depois instala o linux, quase todas as distros fazem essa configuração para você de forma indolor e automática.