Trecho de du --help
:
-h, --human-readable print sizes in human readable format (e.g., 1K 234M 2G)
-S, --separate-dirs do not include size of subdirectories
-s, --summarize display only a total for each argument
Em exibição:
du -Shs /path/to/dir
deve dar o que você quer.