Estou tentando criar uma distribuição baseada no Ubuntu, mas não consigo descobrir como criar um sistema de arquivos iso compactado.
Você usa squashfs
As instruções estão nas páginas wiki:
link