SUS4 diz :
When a - is used as the operand, this shall be equivalent to the command:
cd "$OLDPWD" && pwd
which changes to the previous working directory and then writes its name.
Então, se você não quiser a metade da impressão do comportamento, apenas faça o primeiro bit você mesmo:
cd "$OLDPWD"
Ou o equivalente de expansão do til
cd ~-
Muitas vezes, se você precisar disso, pushd
/ popd
é uma opção melhor, embora menos portável.