A tecnologia no live CD é squashfs. Se você extrair o root.squashfs do Live CD do Ubuntu, e descompactá-lo, é um pouco de GB.
Veja
e man squashfs
Se o Ubuntu for muito grande para você, tente o Debian. Parte do motivo pelo qual o Ubuntu é amigável é que alguns pacotes têm mais do que as dependências mínimas. O Debian terá menos dependências, então você pode conseguir um sistema operacional (ligeiramente) menor.
Se isso ainda é muito grande, então você tem que olhar para SO alternativo, qualquer coisa de tinycore para gentoo para slax.