Se suas configurações e arquivos não forem salvos quando você reiniciar, você não terá a persistência ativada.
Você pode criar uma nova unidade Flash. Isso pode ser mais fácil, já que existem ferramentas gráficas para fazer isso para você ("instale" o iso no flash drive e ative a persistência).
Veja: link
Como alternativa, você pode ativar manualmente a persistência. Você pode fazer isso criando um arquivo ou partição chamado "casper-rw". Acho que criar um arquivo seria mais fácil.
Primeiro, monte o pen drive em say / mnt
sudo mount /dev/sda1 /mnt
faça um arquivo e mude a contagem para aumentar o tamanho:
dd if=/dev/zero of=/mnt/casper-rw bs=1M count=128
mkfs.ext4 /mnt/casper-rw
Em seguida, reinicie, na tela de inicialização, adicione o trabalho "persistente" às opções de inicialização.
Veja link para detalhes.