Inicialize a partir de um pendrive USB. Um usuário experiente pode descobrir o disco rígido, mas para usuários casuais, isso pode atender às suas necessidades. Existem várias distros especificamente para isso; Quiosque do Google para Linux.
Eu pareço lembrar que algumas versões do Ubuntu oferecem uma opção de login de convidado que faz exatamente o que você descreve. Você tem que ativá-lo nas configurações de login, mas ele estava lá pelo menos em algumas versões baseadas no Gnome (tente 10.04 ou 8.04 se não estiver em 12.04).