Você tem o carregador de inicialização GRUB correto instalado! - Você só vê a antiga entrada do menu de inicialização do Windows, porque o armazenamento BCD do Windows não foi modificado depois que você instalou o Ubuntu.
Inicialize o Windows e abra o prompt de comando como administrador e execute:
bcdedit /enum all /v
Procure pelo menu de entrada de inicialização do debian ... copie o identificador e execute:
bcdedit /set {*} description "Ubuntu"
Substitua o * pelo identificador copiado.
Atualização (com instruções sobre as novas informações fornecidas em 8 de dezembro de 2015)
Primeiro, reinstale o carregador de inicialização do Windows.
Inicialize a partir da mídia de instalação do Windows e, na tela Instalar agora , selecione Reparar o computador .
Escolha Prompt de comando e execute:
bootrec.exe /fixmbr
bootrec.exe /fixboot
bootrec.exe /rebuildbcd
Em seguida, reinstale o carregador de boot "Ubuntu".
Inicialize a partir da mídia de instalação do Ubuntu e selecione Experimente o Ubuntu sem instalar ... na área de trabalho ...
Abra um terminal e execute:
sudo mount /dev/sda1 /mnt
sudo grub-install --boot-directory=/mnt/boot /dev/sda
Nota: sda = disco | sda1 = Partição do sistema Ubuntu (tirada da captura de tela na sua pergunta)