Se você usa o USB Disk Creator (disponível no Live CD, eu acho, veja aqui entre muitos outros lugares para mais detalhes) você tem a opção de reservar espaço no pen drive para manter as atualizações. Se você criar um dispositivo USB dessa maneira, as alterações, incluindo o software atualizado e adicionado, devem ser preservadas entre as inicializações.
Certifique-se de reservar bastante espaço para tais atualizações: sem dúvida, você precisará de mais do que pensa, pois ao longo do tempo mais e mais pacotes precisam ser atualizados / adicionados e quaisquer arquivos de log atualizados com o tempo serão armazenados lá para. Se você tiver apenas um pendrive USB de 1 Gb, sugiro reservar all que resta após o bloco do sistema ser alocado para atualizações - eu recomendaria um stick de 2 Gb ou maior para permitir mais espaço.
É possível instalar um sistema "adequado" para uma unidade USB também, embora a utilização da ferramenta mencionada acima seja provavelmente muito mais simples. A ferramenta cria um sistema semelhante a um CD ao vivo, além de um arquivo de sombra para atualizações, que é menos eficiente em alguns aspectos, mas deve funcionar perfeitamente para o uso que você descreve.