Você pode criar um Stick com LinuxLiveUSB , onde você pode ativar a opção persistente. Ou você pode criar uma pasta no seu palito para salvar todos os arquivos lá.
Uma porta USB lenta provoca basicamente o longo tempo de carregamento, por isso você pode tentar usar uma porta USB 3.0 e Stick.