Isso porque você está usando um CD ao vivo e tudo está sendo carregado na memória. Nada está sendo salvo na sua unidade USB. Ele começará a funcionar corretamente depois que você instalar o Ubuntu no USB ou salvará o arquivo explicitamente no USB. Quando você seleciona "Eu quero experimentar o Ubuntu", ele não está instalando nada e a memória RAM é descartada quando você reinicia, fazendo com que o arquivo seja excluído.