Isso provavelmente se deve ao fato de o bootloader ter sido instalado no disco rígido do sistema e não no USB.
Abra um terminal e digite sudo fdisk -l (sua unidade flash USB deve aparecer na lista, se estiver inserida). Agora, digite sudo grub-install /dev/<insert usb drive name here> para instalá-lo em sua unidade USB.
por exemplo:
sudo grub-install /dev/ubuntuusb
Se você rotulou seu dispositivo usb ubuntuusb. Tenha cuidado para selecionar o dispositivo correto ou você pode inadvertidamente destruir outro gerenciador de inicialização de sistemas operacionais. Espero que isso ajude.