shopt -s direxpand fará echo $HOME/<tab> expandir para echo /home/matt/ na bash 4.2. No bash 4.1, deve ser o padrão.
Acho que bash-completion pode realmente atrapalhar as coisas. Eu sempre desinstalo bash-completion ou execuo complete -r para ter certeza de que as regras de conclusão individuais não estão fazendo algo estúpido para as conclusões padrão.
Se $OLDPWD estiver realmente definido, então echo $OLDP<tab> deve se expandir para echo $OLDPWD . Eu não sei o que impediria que isso acontecesse.