você tem que usar o caractere de escape ou \
quando quiser usar símbolos que são considerados parte da sintaxe.
find $SRC -type d -name \* | while read name;
do
$program -c $pgm_config -d \"${name}\";
done
lembre-se de que isso exibirá diretórios ocultos, bem como aqueles cujo nome começa com .
.