Embora possa estar inchado, você pode usar o Ubuntu Live (netbook ou desktop).
Se você copiar isso para um disco USB via usb-creator-gtk
, poderá especificar uma quantidade de armazenamento persistente para o usuário.
Se você precisar fazer mais modificações em uma instalação padrão, pode sempre dar uma olhada em este artigo do lifehacker sobre como personalizar um live cd.