Sim, ele será inicializado, a única coisa que você precisa ter cuidado com a instalação de drivers proprietários, portanto, se você tiver os drivers da Nvidia instalados na chave USB e inicializá-los em uma máquina com gráficos ATI, provavelmente trabalhos.
Mas, de um modo geral, a instalação em um pendrive USB deve funcionar na maioria dos computadores fora da caixa.