Assumindo que seus diretórios não contenham caracteres não imprimíveis:
cd "$(\ls -1dt ./*/ | head -n 1)"
(observe que ele também considerará links simbólicos para diretórios).
Se você não se importa de mudar para o zsh:
cd ./*(/om[1])
Ou incluir links simbólicos em diretórios, como no primeiro exemplo:
cd ./*(-/om[1])