Um problema óbvio é a falta de citação:
... sh -c 'pngnq -s1 "$1" && advpng -z -4 -q "${1%.*}"-nq8.png' -
Você está certo sobre a suposição de que ${$1%.*}
é o problema real. Você não deve repetir o $
entre parênteses.
Os documentos não dizem nada sobre um traço à direita, não é? Apenas sobre um nome.