Não sei como você removeu o Ubuntu, mas parece que você não removeu / substituiu o grub, o gerenciador de inicialização.
Procure no Google os detalhes exatos, mas basicamente você precisa inicializar a partir do seu CD do Windows, entrar em um console de consertos e executar o fixmbr.
Aqui está um link para um site que mostra uma maneira de o fazer
... há centenas de outras pessoas.