O fato de você estar recebendo um menu do GRUB com o que está atualmente instalado no seu HDD sugere que você não está inicializando a partir do USB, mas sim do disco rígido. Você precisa entrar na configuração da BIOS e verificar se o dispositivo USB vem em primeiro lugar na lista de dispositivos de inicialização.
Se você ainda vê o mesmo menu do GRUB depois de confirmar que o USB é o primeiro da lista - ele sugere que o drive USB não é inicializável, então o BIOS pula e vai para o próximo na lista. Talvez seja necessário recriá-lo.