Partes do bootloader são armazenadas na partição de inicialização do UEFI. Para o Ubuntu, este é apenas quatro arquivos em um subdiretório do Ubuntu:
EFI
EFI/ubuntu
EFI/ubuntu/grub.cfg
EFI/ubuntu/grubx64.efi
EFI/ubuntu/MokManager.efi
EFI/ubuntu/shimx64.efi
Portanto, se você conseguir montar a partição de boot UEFI (por exemplo, usando uma chave USB inicializável do Ubuntu, escolhendo "Try It" e usando o terminal de lá), poderá remover os arquivos.
Mas sugiro que você não se incomode: quando você fizer a reinstalação, os quatro arquivos serão simplesmente sobrescritos.