Você precisa ter o grub instalado no pendrive ou no disco rígido da máquina host. No seu caso, como você quer inicializá-lo em qualquer máquina, você precisa instalá-lo no pen drive USB e inicializar o USB usando a opção BIOS.
OBS: não há problema em sua máquina ter o GRUB em seu HD (para inicialização dupla com janelas) e no dispositivo. Se você inicializar a partir do seu HD, você terá suas opções habituais e o GRUB no bastão não será usado. quando você inicializa a partir do USB, o GRUB no bastão será usado e você terá as opções que você definiu lá (provavelmente apenas inicializando o Ubuntu no bastão como se você o usasse em muitas máquinas, você não sabe o que será essas máquinas)
Instalando o GRUB2 no pendrive:
Abra um terminal e digite:
sudo su
fdisk -l #to see the device for your USB stick
# Replace all /dev/sdx with your USB device from line above
mkdir /mnt/USB && mount /dev/sdx /mnt/USB #DON'T FORGET TO REPLACE
grub-install --force --no-floppy --root-directory=/mnt/USB /dev/sdx #REPLACE