O que você está observando aqui é que as "citações strongs" perdem sua força quando envolvidas em "citações fracas":
$ echo $foo
bar
$ echo '$foo'
$foo
$ echo "echo '$foo'"
echo 'bar'
Embora você possa consertar seu código por meio de escape com barra invertida a cada caractere especial, uma maneira melhor de evitar a expansão pelo shell pode ser usar um aqui-documento em vez de echo
e quote (em qualquer das formas suportadas - fraco, strong ou barra invertida) o marcador final:
$ cat << \EOF
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//" ) [$RETRN_VAL]"'
EOF
export PROMPT_COMMAND='RETRN_VAL=$?;logger -p local6.debug "$(whoami) [$$]: $(history 1 | sed "s/^[ ]*[0-9]\+[ ]*//" ) [$RETRN_VAL]"'