~/Downloads
é um diretório, não um arquivo. Ele simplesmente aponta para a lista de arquivos que o diretório contém (ou seja, os arquivos que você baixou). ls
fornece o tamanho desse ponteiro, que geralmente é de 4k.
Quando você visualiza esse diretório em um explorador de arquivos, o programa assume que você deseja o tamanho total dos arquivos dentro desse diretório. Você pode obter isso da linha de comando também, é claro - tente du -hs Downloads
.
Veja este post para mais informações.