"Ubuntu" deve aparecer como uma opção em "Programas e Recursos" (alternativamente, "Adicionar ou Remover Programas").
Se isso não acontecer, no entanto, é possível usar outro programa, o EasyBCD, para remover a entrada do gerenciador de inicialização do Windows (Veja esta página, link - há uma versão gratuita para uso não comercial na parte inferior). Nota: Por favor, tenha cuidado com isso, pois mudar a coisa errada pode tornar seu sistema operacional não inicializável (sem algum tipo de ferramentas de recuperação, pelo menos)
Instale e execute o EasyBCD e escolha "BCD Backup / Repair". Em "Fazer backup e restaurar configurações do carregador de inicialização", escolha uma pasta para backup e clique em "Configurações de backup" (isso é útil no caso de algo dar errado; sugiro fazer isso antes de fazer alterações no programa)
Em seguida, clique em "Editar menu de inicialização". Deve haver duas opções lá (no meu caso, "Windows 7" e "Ubuntu"). Clique na que está marcada no Ubuntu e, em seguida, clique em Excluir na parte superior. Certifique-se de não fazer nada para a entrada do Windows; se você remover isso, você não conseguirá inicializar no Windows.
Assim que você reiniciar a máquina, a entrada do Ubuntu no seu gerenciador de inicialização do Windows deve ser removida.