Nos sistemas UEFI, você provavelmente tem o GRUB armazenado na partição do sistema EFI e no NVram. Você pode "remover" o Grub no sentido de que seu UEFI não saberá que existe lá, montando seu ESP e excluindo EFI/ubuntu/grubx64.efi
Sua placa-mãe também pode manter essa entrada mesmo depois de apagar o arquivo (mas não tentará inicializá-la), caso em que você precisa entrar no menu do UEFI e excluí-lo de lá também.
Isso obviamente não afeta a instalação do grub
no Ubuntu, então você pode reinstalá-lo se quiser mais tarde.