É possível. Você poderia fazer um Live USB com espaço de armazenamento persistente. Isso pode ajudá-lo ( link ). No entanto, acho que a melhor solução seria usar uma distro projetada para rodar em uma unidade USB, como o Puppy Linux ( link ). Você deve saber, no entanto, que usando o sistema operacional em um pen drive tem suas limitações, mesmo difícil é bom para coisas leves (navegação na Internet, edição de texto, etc.).