Eu enfrentei o mesmo problema. Então, da minha configuração, descobri que zlib não era suportado e usei a compactação xz , pois ela era suportada na minha configuração e funcionava.
mksquahfs source source.sqfs -comp xz
mount source.sqfs destination