O problema estava nas opções padrão definidas pelo Prezto. Veja:
# Set the default Less options.
# Mouse-wheel scrolling has been disabled by -X (disable screen clearing).
# Remove -X and -F (exit if the content fits on one screen) to enable it.
# export LESS='-F -g -i -M -R -S -w -X -z-4' ### Initial
export LESS='-g -i -M -R -S -w -z-4'
A segunda exportação permite-me percorrer a saída de man
e less
.