Parece que sua sintaxe está correta, mas você precisará iterar os itens para um trabalho em lote.
Se eles estiverem todos na mesma pasta, algo tão simples quanto esse script deve funcionar:
#!/usr/bin/env bash
for i in 'find . -maxdepth 1 -type f -name "*.chm"'; do
/usr/bin/chm2pdf --book ${i} 'echo ${i} | sed 's/.chm/.pdf/''
done
Isso deve estar mais perto do que você precisa.
Para explicar:
1) Você está listando todos os arquivos correspondentes com o tipo * .chm em uma profundidade máxima de 1 pasta (a pasta em que você está).
2) Para cada um desses, execute /usr/bin/chm2pdf
com ${i}
sendo o nome do item individual. Em seguida, substituindo o nome do arquivo para o arquivo de saída de "whatever.chm" para "whatever.pdf".
3) Então pronto.