Se é sempre apenas um nível de diretórios abaixo da sua posição, você pode tentar fazer um loop dessa maneira:
for dir in *; do
[ ! -d "$dir" ] && continue; # skip non-directory entries, i.e. additional files
cd "$dir"
for file in *.jpg; do
convert -thumbnail x100 "$file" "small-${file}" # creates e.g. small-1.jpg
done
done