Este é um comportamento documentado.
De info ls
:
-f
:
Primarily, like '-U'--do not sort; list the files in whatever order they are stored in the directory. But also enable '-a' (list all files) and disable '-l', '--color', and '-s' (if they were specified before the '-f').
O que você deve usar depende totalmente do que você precisa.