Sim, você está lendo errado. 4.0K é o tamanho no disco que a entrada da pasta /tmp
ocupa. Geralmente é sempre 4k (embora um pode subir dependendo de certos fatores). ls
também não considera o espaço ocupado pelo conteúdo da subpasta.
O que você realmente quer ver é o comando du
para ter uma boa noção do espaço total em disco.
gbeech@ny-man01:~$ ls -lh
total 3.6G
vs
gbeech@ny-man01:~$ du -sh
36G .