Windows does not detect ext4.
Verdadeiro, mas detecta partições que não são do Windows nem do NTFS. Então você pode excluir a partição do Ubuntu de dentro do Windows com um particionador. Não faço ideia do que é o nome, mas lembro-me do Partition Magic dos meus dias do Windows.
Você também pode fazer isso a partir de um live CD do Ubuntu com o gparted.
also don't want it booting into GRUB
Veja a ferramenta do Windows fixmbr