Primeiro, você precisa instalar as ferramentas do squashfs:
sudo apt-get install squashfs-tools
Há algumas notas úteis sobre como usar as ferramentas do squashfs aqui: link e link
Como descompactar e reempacotar o arquivo system.img ? Minha versão do Ubuntu é 12.04