Para trazer um ponto de vocabulário: o que você procura é um "Live persistente" USB ou uma instalação USB persistente. Conhecendo esse termo, você pode encontrar facilmente instruções de muitas páginas da Web.
Você tem uma opção de milhões. Distros especializados em live CDs podem ser bons (Knoppix, Puppy). Historicamente eles rodaram de CD e permitiram salvar dados em disquete, HDD ou USB (ainda podem fazer), trabalhando puramente a partir de USB é uma evolução natural para eles. O Ubuntu é legal, pois presumo que você conheça bem. Linux Mint é o mesmo, mas tem flash, java, codecs fora da caixa, mesmo em um DVD. Escolha uma variante de distribuição com uma área de trabalho leve, se necessário.
Para resgate (somente linha de comando, inicialize em seis terminais de raiz) O CD de Recuperação do PLD é muito agradável (muitas coisas como dd, sshfs, ntfs-progs, chntpw, fdisk, etc.)
Para o Windows, posso mencionar que há o Windows 8 "pronto para uso", mas você precisa da edição Enterprise e isso custa dinheiro.