Acho que a melhor solução é ter um USB 3 pendrive muito rápido. Muitas vezes o hardware de memória flash está limitando a velocidade, então você deve procurar por um pendrive com alto desempenho documentado em leitura e escrevendo. Veja o seguinte link e links dele,
Instalação / FromUSBStick - Notas sobre velocidade | Wiki da Ajuda da Comunidade Ubuntu
Eu uso os pendrives Sandisk Extreme para esse propósito, e eu faço sistemas vivos persistentes neles com mkusb Por favor, procure informações atuais através da internet para encontrar pendrives e métodos alternativos.
Você também deve evitar instalar muitos pacotes de programas no sistema live persistente. E você deve não atualizar todo o sistema . Isso tornará o sistema lento e pode até mesmo fazer com que o sistema falhe, porque ele será bloqueado com muita leitura da partição ou arquivo 'casper-rw'.