Nunca fiz isso, mas em princípio você "criaria" uma nova distro, isto é, o Ubuntu básico com algumas adições e, talvez, algumas coisas removidas.
Isso te daria um arquivo ISO, que você usa para o LiveUSB.
Verifique, por exemplo:
Espero que isso seja de ajuda.
edit: Além disso, confira este possível pergunta duplicada .