Nada será armazenado de forma persistente na unidade.
Qualquer modificação em qualquer arquivo / pasta executada durante o uso do sistema será armazenada no sistema de arquivos carregado na memória, e não no sistema de arquivos armazenado na unidade.
Se você quiser provas, aqui está uma comparação das somas MD5 da ISO de 64 bits do Ubuntu Desktop 15.04 e da unidade USB na qual eu as escrevi e das quais venho reiniciando regularmente há semanas:
ubuntu@ubuntu /media/ubuntu/DATA/Transmission
% md5sum ubuntu-15.04-desktop-amd64.iso
53c869eba8686007239a650d903847fd ubuntu-15.04-desktop-amd64.iso
ubuntu@ubuntu /media/ubuntu/DATA/Transmission
% ls -l ubuntu-15.04-desktop-amd64.iso
-rwxrwxrwx 1 ubuntu ubuntu 1150844928 Aug 13 17:27 ubuntu-15.04-desktop-amd64.iso
ubuntu@ubuntu /media/ubuntu/DATA/Transmission
% sudo dd if=/dev/sdb iflag=fullblock bs=8192 count=$((1150844928/8192)) | md5sum -
140484+0 records in
140484+0 records out
1150844928 bytes (1.2 GB) copied, 100.541 s, 11.4 MB/s
53c869eba8686007239a650d903847fd -