Esta não é uma questão relacionada ao Ubuntu, mas ao Linux como o Ubuntu é uma distribuição.
Se eu fosse você, instalaria o Arch Linux com todas as ferramentas que eu preciso no USB. Aqui estão as instruções.
Mas uma solução simples seria o núcleo do Ubuntu .