Abra um terminal e execute o seguinte comando -
sudo update-grub
Isso irá gerar novamente os arquivos de configuração do grub para que apenas existam entradas válidas.
Nota - Você precisa de um gerenciador de inicialização como o grub ou o syslinux se desejar inicializar no Ubuntu. Portanto, você não deve remover o próprio grub, como sugerido na pergunta.