O Projeto Debian ao Vivo possui várias imagens pré-construídas para uso como live-CDs ou pen drives, e documentação para criação de seu live build customizado baseado no Debian se você quer algo muito específico ou precisa de algo menor / mais rápido (a menor imagem padrão é ~ 240Mb, apesar dos tempos de inicialização não serem longos).
Os padrões podem ser iniciados no console ou no X, e têm praticamente o mesmo suporte de hardware que a distro principal, e acredito que todos eles suportam a persistência com a mídia certa (embora eu mesmo não tenha usado persistência).