man chama um programa definido como pager. No OS X, ele usa aquele definido na variável de ambiente PAGER .
Uso:
export PAGER=less
para definir como less .
Você também deve procurar em seu rc-scripts para encontrar a linha que o define como vim e corrigi-lo.