Você pode executar um Live Ubuntu, que pode ser feito para inicializar a partir de um stick USB ou uma partição do disco rígido, e usar uma partição de armazenamento persistente para seus documentos. O Ubuntu vem com um "Startup Disk Creator" que torna isso bastante fácil.
Isso fará com que os documentos que você segura para a partição de armazenamento persistente sobrevivam a uma reinicialização, mas redefinirá todo o resto do sistema toda vez que você reinicializar. Portanto, você não pode instalar atualizações ou novos programas e fazê-los sobreviver a uma reinicialização.
Isso me parece extremamente complicado.
No entanto, se é assim que você quer ir, você também pode personalizar esse sistema ao vivo, mas você terá que saber bastante sobre como o Ubuntu funciona, como ele inicializa, como as unidades ram iniciais funcionam, etc. tem uma página de ajuda sobre como personalizar seu ambiente Live (veja link ). Eu fiz isso há alguns anos para um grupo de alunos e, embora funcionasse bem, decidi que era muito trabalho repetir o experimento.
Seria interessante saber por que você precisa de uma configuração tão estranha.
Se você está preocupado com a velocidade de executar um sistema Linux a partir de um disco rígido, não fique. Hoje em dia você pode até rodar o Linux através de um link de rede local e nunca perceber que você não está trabalhando em sua própria máquina. Você pode até mesmo executar aplicativos GUI através de uma conexão com a internet (embora o atraso seja perceptível).
Existem algumas alternativas que você pode considerar se estiver pedindo as necessidades de privacidade:
Uma instalação padrão do Ubuntu vem com uma funcionalidade de "Usuário Convidado" que mantém a pasta pessoal do convidado na memória, portanto sempre que você fizer login como usuário convidado, quando você reiniciar, todas as alterações feitas serão perdidas.
Você pode criptografar seu diretório home ou toda a partição do sistema. Na verdade, você pode configurá-lo para que o seu sistema inicialize a partir de uma unidade USB que você mantém no seu chaveiro e mantenha seu sistema de arquivos raiz criptografado em seu disco rígido.