Por que excluí-lo com o gerenciador de discos do Windows? Você pode fazer todas as alterações com o gerenciador de volume do usb-stick ao vivo, após inicializar com o live usb-drive. Você pode até deixar o Windows no lugar, se quiser.
Basta inicializar com o live usb-stick. Veja se funciona, substitua o Ubuntu pelo antigo, veja se ele inicializa.
Se o GRUB, por algum motivo, não funcionar, você pode usar o live-usb-stick para inicializar a partir do stick, da partição do Ubuntu ou da partição do Windows.