Eu tenho um USB com um ISO bootável do Ubuntu 16.04, e quando eu inicializo eu posso instalar e usar pacotes como eu posso na minha configuração normal do Ubuntu. Quando eu reinicio o sistema e inicializo de volta nesse USB, todos os pacotes que eu instalei se foram, e todas as outras mudanças desapareceram também (mudando o layout do teclado, etc.).
Por que isso acontece, e há uma maneira de impedir que isso aconteça?
Distribuições populares têm algo especial, chamado Persistência, é exatamente o que você está procurando.
Dê uma olhada no link
E para responder à sua pergunta, o USB ao vivo simplesmente inicializa uma imagem, nada é realmente alterado dentro dessa imagem (imagine inserir um CD para inicializar, é o mesmo).
Eu não acho que o recurso de persistência realmente mantenha os pacotes instalados. Se isso não acontecer, a maneira mais fácil de obter o que você deseja é colocar todos os comandos de personalização em um script que você salva na partição de persistência e executá-lo na primeira inicialização.