Primeiro, você precisa instalar as ferramentas do squashfs:
sudo apt-get install squashfs-tools
Há algumas notas úteis sobre como usar as ferramentas do squashfs aqui: link e link
Como descompactar e reempacotar o arquivo system.img
? Minha versão do Ubuntu é 12.04