Quando o computador inicia a inicialização, ele deve informar qual tecla pressionar para entrar em um menu onde você pode escolher de qual mídia inicializar, normalmente um FN (onde N é um número como a tecla F1 , F12 ) ou ESC . Escolha para inicializar a partir do seu DVD ou USB aqui.
Quando você tiver formatado seu disco, você também removeu os arquivos que o GRUB tenta carregar.