No Windows 7, vá para Iniciar > Execute ... e digite msconfig e pressione enter.
Haverá uma aba de inicialização e entradas para a lista de inicialização. Exclua a entrada do Ubuntu, salve e reinicialize. Certifique-se de não excluí-lo se você não estiver totalmente certo. Você pode postar a captura de tela da página aqui, se não tiver certeza.