Eu acredito que você está procurando por uma página como esta:
Isso lista vários métodos para criar uma unidade USB persistente que salva suas personalizações, como o papel de parede da área de trabalho e as configurações de Wi-Fi. Eu iria queimar um Ubuntu Live CD e selecione sua unidade USB como o disco de destino para realizar algo como isto. Além disso, não se esqueça de tornar a unidade inicializável e instalar um gerenciador de inicialização. As instruções estão listadas no artigo para isso.