Live-iso é o que você quer.
Qualquer distro serve, o Ubuntu é uma das escolhas mais populares. Você pode fazer o download da iso ao vivo AQUI .
Uma vez que o sistema inicializa, você pode copiar os programas criados no próprio USB ou, você pode pegar 2 USB's e copiar o seu trabalho no outro se por algum motivo você não puder copiar o conteúdo no USB ao vivo.