A diferença é mais histórica neste momento, acredito que alguns sistemas ainda têm more e less ligados ao mesmo binário.
Originalmente, more praticamente permitia apenas avançar em um arquivo, mas era bastante decente para armazenar em buffer a saída.
less foi escrito como um more aprimorado que permitiu rolar pelo texto exibido
A primeira linha do meu man less praticamente resume:
Less is a program similar to more, but which allows backward
movement in the file as well as forward movement.