Do que você diz, parece que você instalou o GRUB no seu dispositivo USB que você instalou. É por isso que o instalador não inicializa quando você inicializa a partir do seu dispositivo USB.
Resolva-o inicializando no Debian com o dispositivo USB e, em seguida, remova-o depois de inicializar.
Entre na instalação Debian e execute
sudo grub-install /dev/sdX
onde X é o arquivo de dispositivo que representa o disco rígido onde o Debian foi instalado.
Se você tiver apenas um disco rígido, ele deve ser / dev / sda, você pode usar o comando lsblk para listar todos os dispositivos de bloco.