Use dirs -l +1
para imprimir o caminho completo para o diretório, sem abreviação ~
. A expansão de til só acontece quando é digitado explicitamente, não na saída de um comando.
cd $(dirs -l +1)
Como alternativa, use zsh, onde você pode simplesmente escrever
cd +1
Mas mesmo no bash você pode simplesmente escrever
pushd +1
que tem quase o mesmo efeito (deixa a pilha em uma ordem diferente).