Você precisa inicializar um LiveUSB ou usar um thumb-drive ou um drive externo em conjunto com o LiveCD se quiser gravar arquivos extras e usá-los toda vez com o LiveCD.
Alternativamente, você também pode usar o programa usb-creator
e criar um LiveUSB e então alocar algum espaço na unidade USB para usar como espaço de armazenamento que você pode usar para salvar seus arquivos .pdf e Word.
As instruções detalhadas para usar armazenamento persistente estão aqui em Documentação da Comunidade Ubuntu - Persistência do Live CD
Trecho da Fonte :
Se você estiver usando um pendrive, precisará particionar e formatar seu pendrive -
% bl0ck_qu0te%