Ok. Eu acho que resolvi isso. Este postar foi muito útil.
Basicamente, oh-my-zsh define a conclusão para
zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|[._-]=* r:|=*' 'l:|=* r:|=*'
Remover 'l:|=* r:|=*'
(que é a última regra) agora me dá o comportamento desejado.
A capacidade de fazer cd /u/lo/b/
TAB não é comprometida.