cd "$(ls -trh | tail -1)"
Isso usa a saída do pipeline ls | tail como os argumentos da linha de comando para cd.
EDIT: camh está correto que isso deve dar melhor desempenho, porque head
não vai passar pelas linhas que você está ignorando.
cd "$(ls -th | head -1)"