Parece não haver uma opção para isso. Suas escolhas então são (a) construir sua própria versão modificada de menos, e (b) filtrar esses caracteres antes que menos se apoderem deles, assim:
LANG= tr -cd '[:print:]' <yourfile | less
O LANG está indefinido, de forma que tr não tente combinar caracteres de controle em caracteres de vários bytes.