Qual versão do Ubuntu estamos falando? A mídia de instalação do Ubuntu 16.04 perdeu a persistência, mas uma versão 14.04 mais antiga ainda a possui. Se você acabou de fazer outra partição com um sistema de arquivos FAT na mídia de instalação, rotulou-o de "casper-rw" e editou o comando grub boot para adicionar o wrord "persistente" à linha do kernel do Linux, ele pode funcionar (nunca tentei ).
A instalação completa provavelmente precisa de uma partição EFI (300M FAT fs, boot flag) para instalar o grub, embora o Ubuntu intaller ainda ignore a localização e coloque os bootloaders do Ubuntu no disco rígido (e talvez atrapalhe as entradas de boot do nvram) também). Muitas respostas postadas sobre apenas copiar todos os diretórios / arquivos EFI do disco rígido para o USB, copiando /EFI/ubuntu/grubx64.efi e shimx64.efi para / EFI / Boot e renomear shimx64.efi para bootx64.efi.