find -type f -printf '%h\n'|uniq -c|sort -rn|head -1
Você pode substituir "head - < N >" para "cabeça -1", para ver os < N > superiores, ou remova-os completamente para ver a lista completa do menor número de arquivos
De "man find":
-printf format
.....
%h Leading directories of file's name (all but the last element). If the file name contains no
slashes (since it is in the current directory) the %h specifier expands to ".".